KI in der Praxis: Unser Proof of Concept zeigt, dass KI-basiertes Testen bereits Realität ist

Während andere noch darüber diskutieren, wie künstliche Intelligenz Testprozesse verbessern könnte, haben wir bereits gehandelt: Unser PoC zeigt, wie KI die Qualitätssicherung optimieren und die Effizienz steigern kann.

Unser Ziel: Testfälle mithilfe von KI automatisch zu generieren und zu validieren – und so den Zeitaufwand, den Ressourcenverbrauch und die fehlerbedingten Kosten deutlich zu senken.

Unser PoC beweist, dass KI-basierte Qualitätssicherung funktioniert

Viele Unternehmen stehen vor ähnlichen Herausforderungen:

• Die zunehmende Komplexität der IT-Landschaften überfordert die Testteams.

• Fachwissen ist nur sporadisch verfügbar, obwohl es für effektive Tests unerlässlich ist.
  

• Die Erwartungen an eine hohe Testabdeckung und effiziente Prozesse steigen weiter an.

Die manuelle Testerstellung kann damit kaum Schritt halten. Unser Ziel war es, herauszufinden, wie ein KI-gestützter Workflow das Testdesign und die Testauswertung unterstützen könnte. Ein realer Anwendungsfall mit echten Daten und messbaren KPIs war für uns entscheidend.

Intelligenteres Testen mit KI – So funktioniert unser KI-basierter Workflow

Mit unserem „QESTIT AI Workflow Framework“ haben wir einen nahtlosen Prozess implementiert, bei dem wichtige Schritte der Testgestaltung automatisch von zwei fortschrittlichen Sprachmodellen (GPT-4o-mini und MistralAI) übernommen werden:

1. 1. Verarbeitung von Geschäfts- und Benutzerdokumentation: Erfassung der Anforderungen und des Systems zur Generierung von Testfällen.

   
   2. Generierung von Testfällen anhand kontextbezogener Eingabeaufforderungen: Erstellung geeigneter Testfälle auf der Grundlage der analysierten Informationen.

3. 3. Qualitätssicherung durch automatisierte Auswertung und Reduzierung von Redundanzen: Optimierung der Testfälle und Sicherstellung der Einhaltung von Layout- und Strukturstandards.

5. 4. Ableitung von Erkenntnissen für die Anwendbarkeit auf andere Anwendungsfälle: Skalierung des Ansatzes.

Der Workflow wurde in einem realen Anwendungskontext getestet und lässt sich flexibel an andere Systeme und Prozesse anpassen.

Nachgewiesene Vorteile: Steigerung von Qualität, Effizienz und Abdeckung

Das Ergebnis unseres PoC:

• 50 % der generierten Testfälle waren sofort einsetzbar

• 40–50 % höhere Testabdeckung im Vergleich zur manuellen Erstellung

• Deutliche Zeitersparnis bereits ab 5 Testfällen

• Effizienzvorteile gegenüber generischen KI-Ansätzen, die ausschließlich auf statischen Eingabeaufforderungen basieren

Ein besonders aufschlussreicher Test war die Anwendung des KI-Workflows auf ein neues, bisher ungenutztes Szenario. Obwohl keine individuelle Anpassung an diesen Kontext erfolgte, war das System von Anfang an in der Lage, hochwertige Testfälle zu generieren. Dies zeigt: Unser Ansatz ist nicht auf isolierte Anwendungsfälle beschränkt – er lässt sich auf andere Systeme und Prozesse übertragen.

Wichtige Erkenntnisse aus dem PoC

Trotz der positiven Ergebnisse lieferte der PoC auch wichtige Erkenntnisse hinsichtlich der notwendigen Voraussetzungen und Einschränkungen:

• Veraltete oder unvollständige Dokumentation führt zu Fehlern – eine hohe Informationsqualität ist daher unerlässlich. Wir unterstützen dies mit verschiedenen KI-Tools zur Bewertung und Verbesserung der Dokumentationsqualität – beispielsweise durch automatische Tabellenoptimierung oder die strukturierte Aufteilung unstrukturierter Dokumente.

• Ohne Dokumentationsoptimierung waren der Ressourcenverbrauch sowie die Menge an unbrauchbaren Daten und Formatierungen sehr hoch. KI-gestützte Verbesserungen steigerten die Ressourceneffizienz und die Qualität der generierten Ergebnisse erheblich.

• Die Wartung und Weiterentwicklung der Lösung muss langfristig geplant werden – mit Fokus auf flexibler Integration und einfacher Nutzung innerhalb bestehender Systemlandschaften.

Nächste Schritte: Skalierung und Integration

Unser PoC hat das Potenzial von KI im Testbereich aufgezeigt – und messbaren Mehrwert geschaffen. Durch unseren Workflow-Ansatz machen wir KI zu einem produktiven Bestandteil moderner Testverfahren. Was als Nächstes kommt:

• Export von Testfällen in Systeme wie Jira

• Kontextsensitive Integration mit Confluence zur Dokumentationsanalyse

• Anwendung des Workflows auf weitere Systeme und Anwendungen
• Integration automatisierter Testskripte zur direkten Wiederverwendung

Gemeinsam mit unseren Kunden entwickeln wir den Ansatz kontinuierlich weiter – mit dem Ziel, datengestützte Verbesserungen umzusetzen, die Leistung zu steigern, Erkenntnisse aus unseren PoCs anzuwenden, neue Einblicke zu gewinnen und neue Anwendungsszenarien zu erschließen. Unsere KI-Lösungen werden praxisorientiert entwickelt: Sie gehen auf echte Herausforderungen im Testalltag ein und gehen weit über Marketing-Schlagworte hinaus. Unsere langjährige Testkompetenz fließt direkt in die Entwicklung ein und stellt sicher, dass unsere KI einen echten Mehrwert liefert.

Fazit

Unser PoC zeigt: KI unterstützt Geschäfts- und Fachexperten effektiv, stärkt ihre Rolle und ihre Bewertungsfähigkeiten und trägt dazu bei, den Softwareentwicklungsprozess standardisierter und effizienter zu gestalten. Gleichzeitig verbessert sie messbar die Qualität der Testfälle – was zu mehr Effizienz und Zuverlässigkeit im gesamten Testprozess führt.

Es geht nicht um theoretische Konzepte, sondern um echte, umsetzbare Lösungen. Was zählt, ist nicht nur das Experimentieren, sondern das Erreichen von Ergebnissen. Und genau das haben wir getan – mit messbarem Erfolg.