Haben Sie schon einmal von der ISTQB® -Zertifizierungsschulung zur Testautomatisierung gehört?
Wahrscheinlich nicht – und das ist verständlich. Obwohl es sie bereits seit 2016 gibt, ist sie in der breiten Öffentlichkeit noch relativ unbekannt. Dieser Kurs, der nach Bestehen der ISTQB®-Foundation-Zertifizierung zugänglich ist, vermittelt die theoretischen Grundlagen der Testautomatisierung. Idealerweise sollte er vor jeglicher praktischen Arbeit im Bereich der Automatisierung absolviert werden, um zunächst das „Was“ zu verstehen, bevor man sich mit dem „Wie“ befasst.
Warum ist die ISTQB®-Schulung zur Testautomatisierung also nützlich?
Die folgenden Zeilen geben einen Einblick in die Kursinhalte – und sollen Ihr Interesse wecken.
Die Testautomatisierung ist weder einfach noch kostenlos. Sie ist ein eigenständiges Projekt, das es ermöglicht, die Effizienz der Tests zu steigern, die Testkosten zu senken und gleichzeitig die Testabdeckung zu verbessern.
Die mit der Testautomatisierung verbundenen Probleme:
Diese Probleme lassen sich durch die Anwendung bewährter Verfahren beheben, insbesondere durch die richtige Zusammenstellung einer Testautomatisierungsstrategie in Verbindung mit dem Entwurf einer effizienten Testautomatisierungsarchitektur (TAA) – die wartbar, leistungsfähig und lernfähig ist –, ein funktionsfähiges Testautomatisierungs-Framework (TAF) und ein testbares Testsystem (SUT).
Auf diese Weise lassen sich die wichtigsten Fallstricke der Automatisierung – siehe unten – vermeiden:
Die Automatisierung der Testausführung erfordert eine gute Vorbereitung. Dies geschieht durch einen Automatisierungsansatz, der an die Größe und Komplexität des zu testenden Systems (SUT) angepasst ist, einschließlich der Konzeption von Softwareschnittstellen für den Test. Darüber hinaus erfolgt die Auswahl eines Testautomatisierungstools – wie bei jedem Tool – durch die Bewertung der Reife des Testprozesses und der Automatisierungsziele sowie durch die Bewertung der Automatisierungstools (kommerziell, Open Source oder selbst entwickelt) im Hinblick auf die Ziele und Einschränkungen sowie durch die Bewertung des Kosten-Nutzen-Verhältnisses des Tools anhand eines Anwendungsfalls.
Die Konzeption der generischen automatisierten Testarchitektur (gTAA) bleibt die erste wichtige Phase der Testautomatisierung, um anschließend eine Testautomatisierungslösung (TAS) zu entwickeln. Die gTAA verknüpft die Testautomatisierung mit anderen Prozessen: Projektmanagement, Testmanagement und Konfigurationsmanagement innerhalb des Testautomatisierungs-Frameworks.
Die Testautomatisierung muss zunächst konzipiert werden, bevor sie umgesetzt wird, entsprechend den vier Schichten der gTAA:
Die Testgenerierungsschicht legt fest, wie die Tests entworfen werden (manuell oder modellbasiert); die Testdefinitionsschicht erstellt anhand der Testbedingungen Testfälle, Testdaten und Testskripte; die Ebene der (automatischen) Testausführung ermöglicht die Nachverfolgung der Testergebnisse anhand von Testprotokollen; schließlich steuert die Anpassungsschicht das SUT über Schnittstellen wie GUIs oder APIs.
Bei der Testautomatisierung müssen anschließend auch der Umfang der Automatisierung (welche Aktivitäten sollen automatisiert werden? Welche Testebenen sollen automatisiert werden? Welche Testarten sollen automatisiert werden?) sowie die Testrollen innerhalb der Organisation berücksichtigt werden.
Schließlich variiert der Ansatz zur Automatisierung von Testfällen je nach Reifegrad der Organisation. Je höher der Reifegrad, desto größer ist der Abstraktionsgrad. Hier werden verschiedene Skripting-Methoden mit ihren jeweiligen Merkmalen vorgestellt: Capture/Playback, lineares Skripting, strukturiertes Skripting, datenbasiertes Skripting, Schlüsselwort-basiertes Skripting sowie Skripting auf der Grundlage von Modellen oder Geschäftsprozessen.
Die Entwicklung der automatisierten Testlösung (TAS) resultiert somit aus der guten Konzeption der TAA und erfolgt schrittweise und in Abstimmung mit dem zu testenden System (SUT). Wie bei jedem Projekt erfolgt die Entwicklung der automatisierten Testlösung (TAS) in mehreren Phasen: Zunächst wird sie im Rahmen eines Pilotprojekts erprobt und anschließend schrittweise auf die gesamte Organisation ausgeweitet.
Das Pilotprojekt muss richtig ausgewählt werden: Es darf weder ein kritisches noch ein triviales Projekt sein. Das Ziel des Pilotprojekts besteht darin, zu überprüfen, ob die Versprechen der TAS eingehalten werden, beispielsweise hinsichtlich der Automatisierung von Regressionstests, wobei zu berücksichtigen ist, dass die Automatisierung eine langfristige Investition ist und dass die Rentabilitätsschwelle nach einer angemessenen Zeitspanne (die zu Beginn zu quantifizieren ist) erreicht wird.
Die Einführung von TAS erfolgt schrittweise in allen Projekten des Unternehmens: die Schulung der Anwender, die Erstellung von TAS-Benutzerhandbüchern, die Unterstützung der Test- und Entwicklungsteams bei der Nutzung von TAS, die Überwachung der Nutzung, des Nutzens und der Kosten von TAS, die kontinuierliche Verbesserung durch Retrospektiven … sind bewährte Vorgehensweisen für die allgemeine Einführung der TAS im gesamten Unternehmen.
Die so erstellte und anschließend eingeführte TAS muss leicht zu warten sein: Sie ist modular, skalierbar, dokumentiert, zuverlässig und testbar. Es muss auch möglich sein, die TAS (wie bei jedem Softwareprojekt) zu überprüfen, einschließlich der Überprüfung der automatisierten Testumgebung und der automatisierten Testsuite. Schließlich muss es möglich sein, die Automatisierungsaktivitäten anhand von Kennzahlen zur Effizienz der TAS (z. B. Fehlerdichte im TAS-Code …) sowie anhand von Kennzahlen zu den Auswirkungen auf diese Aktivitäten (z. B. Aufwand für die Automatisierung oder Wartung eines Tests, Aufwand für die Analyse eines fehlgeschlagenen Tests…).
Der Einsatz der TAS zielt letztendlich darauf ab, auf der Grundlage bestehender manueller Tests eine automatisierte Testumgebung zu schaffen. Da nicht alle manuellen Testfälle automatisiert werden müssen, sind Kriterien erforderlich, um zu definieren, welche manuellen Testfälle automatisiert werden sollen. Diese Kriterien für die Automatisierbarkeit sind die Nutzungshäufigkeit, die Komplexität der Automatisierung, die Reife des Testprozesses, die Nachhaltigkeit der automatisierten Umgebung und die Kontrollierbarkeit des zu testenden Systems (SUT). Dennoch bleiben manuelle Tests nach wie vor wichtig und notwendig.
Regressionstests und Bestätigungstests eignen sich gut für die Automatisierung.
Schließlich gehört, wie bei jedem Softwareprojekt, die kontinuierliche Verbesserung zu den bewährten Praktiken der Automatisierung. Auch wenn die oberste Priorität der Automatisierung zunächst darin besteht, sie zum Laufen zu bringen, sollten anschließend weitere Verbesserungen am TAS oder am SUT vorgenommen werden:
Die TAS und das SUT müssen während des gesamten Lebenszyklus der Softwareentwicklung effektiv aufeinander abgestimmt bleiben.
Dies sind die wichtigsten Themen, die in dieser ISTQB®-Fortbildung „Advanced – Testautomatisierung: Best Practices in der Automatisierung“ behandelt werden. Diese Fortbildung ist in vielerlei Hinsicht aufschlussreich und sollte – meiner Meinung nach – in Betracht gezogen werden, BEVOR man mit der Umsetzung eines Automatisierungsprojekts beginnt.