Auf der International Conference on Software Testing (ICST) – einer der weltweit führenden Veranstaltungen für Forscher, Ingenieure und Praktiker aus den Bereichen Softwaretests, Verifikation und Validierung – wurden zwei aktuelle Forschungsarbeiten vorgestellt. Die Studien wurden im Rahmen des T.A.R.G.E.T.-Projekts in Zusammenarbeit mit dem Blekinge Institute of Technology und unserem Partner Synteda durchgeführt.
Diese Ergebnisse bilden nun die Grundlage für die nächste Phase bei QESTIT, in der unsere Berater damit beginnen werden, die vorgeschlagenen Lösungen unter realen Bedingungen zu evaluieren.
Die ICST 2025 fand in Neapel, Italien, statt und dient als globale Plattform für Spitzenforschung und angewandte Innovation im Bereich des Testens.
STUDIE 1
Zusammenfassung
Diese Studie untersucht, ob ein Multi-Agenten-System, das verschiedene große Sprachmodelle (LLMs) verwendet, ein System übertreffen kann, bei dem alle Agenten dasselbe Modell nutzen. Die Hypothese lautete, dass verschiedene LLMs unterschiedliche Stärken und Schwächen bei der Testgenerierung aufweisen und dass ihre Kombination zu besseren Ergebnissen führen könnte.
PathFinder: Ein Multi-Agenten-Prototyp
Um diese Idee zu evaluieren, entwickelte das Team ein Prototyp-System namens PathFinder mit vier autonomen Agenten. Diese Agenten sind so programmiert, dass sie:
explorative Tests durchzuführen (neue Testfälle zu entdecken)
Regressionstests zu generieren (zu überprüfen, ob bestehende Funktionen weiterhin intakt sind)
Drei verschiedene LLMs – Mistral, Gemm2 und LLama3 – wurden auf vier E-Commerce-Websites getestet, um zu untersuchen, ob die Verwendung einer Modellkombination die Testqualität verbessern würde.
Ergebnisse: Ein Modell pro Website funktioniert am besten...
Die Ergebnisse zeigten, dass die Hypothese beim Testen einer einzelnen Website nicht zutraf: Wenn alle Agenten dasselbe LLM verwendeten, wurden tatsächlich bessere Ergebnisse erzielt als bei einer Mischung der Modelle. Ein wahrscheinlicher Grund dafür ist, dass die Modelle „unterschiedliche Sprachen sprechen“ und unterschiedliche Aspekte der Benutzeroberfläche in den Vordergrund stellen.
So konzentrierte sich LLama beispielsweise stärker auf Webkomponenten, während Gemm2 Nutzeraktionen wie Klicks in den Vordergrund stellte. Diese Unterschiede erschwerten die Kommunikation und Koordination zwischen den Agenten bei der Verwendung gemischter Modelle.
…Bei verschiedenen Websites könnten gemischte Modelle jedoch besser geeignet sein
Wenn das Ziel jedoch darin besteht, eine allgemeingültigere Lösung für den Einsatz auf verschiedenen Websites oder in verschiedenen Systemen zu schaffen, kann die Kombination von Modellen von Vorteil sein. Verschiedene LLMs können sich in unterschiedlichen Umgebungen oder Nutzerszenarien effektiver ergänzen.
STUDIE 2
Kurzfassung
Diese Studie untersucht, wie generative KI (LLMs) eingesetzt werden kann, um modellbasierte GUI-Tests zu analysieren und automatisch Kontextdaten zu erfassen, um so die Aussagekraft und Übersichtlichkeit von Testberichten zu verbessern.
So funktioniert es:
Ein Demonstrator in Scout
Das Forschungsteam hat eine Lösung in Scout integriert, ein akademisches Testtool, mit dem Nutzer Tests durch Interaktion mit einer Webanwendung „aufzeichnen“ können, wodurch der Testprozess intuitiver wird.
Einsatz generativer KI
Das System analysiert die getestete Webanwendung und sammelt relevante Kontextinformationen (z. B. Funktionsbeschreibungen, Abläufe und potenzielle Benutzerszenarien). Diese Daten werden den Testberichten hinzugefügt und helfen Scout zudem dabei, sein internes Testmodell zu aktualisieren, wodurch das Verständnis des Verhaltens der Anwendung verbessert wird.
Ergebnisse
Zur Bewertung der Nutzerwahrnehmung der erweiterten Berichte wurde ein Quasi-Experiment durchgeführt. Die Teilnehmer empfanden die durch LLM erweiterten Berichte als aussagekräftiger und leichter verständlich.
Mögliche Anwendungsbereiche
Obwohl diese Lösung für Scout entwickelt wurde, lassen sich die Prinzipien auf andere Tools und modellbasierte Testumgebungen übertragen. Eine automatisierte Kontextanreicherung könnte insgesamt zu einer besseren Analyse und Berichterstellung beitragen.
Weitere Informationen:
T.A.R.G.E.T.-Forschungsprojekt – Blekinge Institute of Technology