Software, die mit Unterstützung von künstlicher Intelligenz (KI) generiert wird, erreicht heute ein Niveau an Qualität und Präzision, das Entwicklungsprozesse fundamental verändert. Dadurch entstehen Möglichkeiten, traditionelle Software-Entwicklung von Code über Test bis zu Dokumentation auf eine neue Grundlage zu stellen.
AI-Disruption macht auch vor Testing keinen Halt
Innerhalb der Software-Entwicklung ist das Testen der Software schon immer ein zentraler Bestandteil, denn nur durch systematische Tests kann sichergestellt werden, dass die entwickelte Software zuverlässig und robust läuft. Mit dem Aufkommen der modernen KI-Technologien eröffnen sich gerade in diesem Bereich enorme Potenziale. KI kann heute nicht nur Anomalien erkennen, sondern sogar den ganzen Code verstehen und selbst schreiben. Somit bestehen die besten Voraussetzungen, KI auch für das Testen der Software einzusetzen, da hier große Datenmengen, klare Abläufe und wiederkehrende Muster zusammentreffen.
Doch trotz der beeindruckenden Möglichkeiten ist der Einsatz von KI kein Selbstzweck. Klassische Automatisierungen einfach mit KI zu ersetzen ist nicht automatisch sinnvoll und liefert nicht immer einen langfristigen Mehrwert. Vielmehr ist es entscheidend, genau zu verstehen, welche Anwendungsfelder im Testing vom KI-Einsatz profitieren können. Denn dort, wo KI gezielt eingesetzt wird, lassen sich Entwicklungszyklen drastisch verkürzen, wobei gleichzeitig die Qualität der getesteten Software signifikant gesteigert werden kann.
Traditionelle, manuelle Testprozesse
Um zu verstehen, wo KI im Software Testing einen echten Mehrwert liefert, lohnt es sich, zunächst einen Blick darauf zu werfen, wie traditionelle Testprozesse funktionieren. Klassischerweise werden Testfälle manuell aus Anforderungen abgeleitet. Die menschlichen Tester definieren Szenarien, schreiben Schrittfolgen, pflegen Testfallbibliotheken und bewerten anschließend die Ergebnisse.
Der traditionelle Ansatz bringt einige essenzielle Herausforderungen mit sich:
- Manueller Aufwand: Ein Engpass entsteht vor allem bei kontinuierlichen Änderungen und Weiterentwicklungen der Software.
- Wartungsaufwand: Änderungen der Software machen bestehende Testfälle schnell obsolet.
- Menschliche Fehler: Menschen übersehen komplexe Grenzfälle oder Schlussfolgerungen aus den Ergebnissen.
Anwendungsfelder für KI im Testprozess
Künstliche Intelligenz eröffnet hier neue Möglichkeiten. Sie ersetzt systematische Testprozesse nicht selbst, sondern verbessert Geschwindigkeit, Tiefe und Präzision der Prozessschritte. Die wichtigsten Anwendungsfelder:
| Testfallgenerierung | Ergebnisanalyse |
|---|---|
|
KI kann Anforderungen, Code oder historische Daten als Grundlage nehmen, um daraus automatisch Testfälle abzuleiten. Bestehende Testfallbibliotheken lassen sich automatisiert anpassen und Testfallvorlagen zu unterschiedlichsten Varianten abändern. Dabei kann die künstliche Intelligenz auch der Schlüssel dazu sein, Grenzfälle zu identifizieren und unbekannte Risiken zu minimieren. Durch Natural Language Processing (NLP) kann KI aus Anforderungsdokumenten direkt testbare Szenarien generieren. In CI/CT-Pipelines kann KI außerdem entscheiden, welche Tests bei welcher Code-Änderung relevant sind, um Feedback-Zyklen zu beschleunigen. |
Statt nur Pass/Fail zu melden, kann KI Muster in Fehlermeldungen und Logs erkennen. So können beispielsweise Ausfälle für eine schnelle Ursachenanalyse gruppiert werden. Darüber hinaus kann KI auf Basis der Testergebnisse Empfehlungen für Testfalländerungen geben und diese ggf. automatisiert umsetzen. Bereiche im Code, die häufig geändert werden, lassen sich identifizieren, was historische Fehler vermeidet. Nicht zuletzt können sogenannte „Flaky Tests“, die bei identischem Code sporadisch unterschiedliche Ergebnisse liefern, identifiziert werden. |
Doch wie setze ich KI jetzt ganz konkret in meiner Testing Toolchain ein, und was brauche ich dafür?
Voraussetzungen für den effizienten Einsatz von KI
Viele Testing Teams stehen hier vor einem ähnlichen Ausgangspunkt. Über die Jahre haben sich proprietäre Testwerkzeuge angesammelt, oft mit inhouse entwickelten Anteilen, die schlecht dokumentiert sind oder spezielle Domain-specific Languages (DSL) enthalten. Für Menschen sind diese Toolchains in der Regel handhabbar, oft jedoch nicht für KI. LLMs müssen die Syntax verstehen, um Konzepte interpretieren und Muster erkennen zu können. Als naheliegendste Lösung wird oft versucht, ein LLM speziell auf die proprietäre Syntax zu trainieren. Doch das ist genau der falsche Weg, denn ein eigenes Modell muss am Ende wieder eigens betrieben, gewartet und kontinuierlich nachtrainiert werden. Dieses Vorgehen führt langfristig in eine technische Sackgasse mit großer Abhängigkeit von der proprietären Lösung, währenddessen das volle Potenzial durch KI nicht ausgeschöpft wird.
Ist die KI nativer Bestandteil der Entwicklungsumgebung werden die eigenen Prompts an die KI (rechter Teil) direkt in Code umgesetzt (linker Teil). Änderungen lassen sich so ebenfalls direkt angeben und erkennen.
Wie kann KI im Testprozess unterstützen?
Der zukunftsfähige Weg besteht darin, nicht die KI an die Toolchain, sondern die Toolchain an die KI anzupassen. Etablierte LLMs wie ChatGPT, Claude oder Copilot sind bereits in den meisten Unternehmenssystemen verankert. Diese KIs sind leistungsfähig, skalierbar, ständig aktuell. Anpassungen oder Umbau der Toolchains können initial erstmal einen größeren Aufwand bedeuten. Dieser ist jedoch notwendig, um eine gute Basis für den langfristigen Einsatz von unterschiedlichen KIs zu schaffen. Um diese KIs nun in die Lage zu versetzen, die Testing Toolchain bedienen zu können, führen verschiedene Ansätze zum Erfolg:
- Generische Testsprache: Testfälle sollten in weitverbreiteten, standardisierten Sprachen geschrieben werden. Dabei hat sich Python längst als sehr geeignet herausgestellt. Nicht nur, weil Python als skriptbasierte Programmiersprache gut Testabläufe abbilden kann, sondern zeitgleich auch die am weitesten verbreitete Sprache ist und somit von LLMs beherrscht wird.
- Dokumentation: KI benötigt Informationen, um kontextbezogen und korrekt zu arbeiten. Anforderungen, Schnittstellenbeschreibungen und Tool-Dokumentationen müssen der KI zugänglich sein. Besonders NLP-basierte KI profitiert stark davon, wenn sie reichhaltige technische Artefakte analysieren kann. Bei der Bereitstellung der Dokumentation sollte darauf geachtet werden, dass sie in ein Format gebracht wird, das darauf optimiert ist, von KI verarbeitet zu werden.
- Open-Source: Open-Source Tools verwenden in der Regel gängige Standards, sind offen einsehbar und bieten KI somit deutlich mehr Anknüpfungspunkte als proprietäre Blackbox-Software. Dieser Ansatz hat sich bereits mit OSS wie Pytest oder Robot Framework bewährt.
Alle diese Ansätze werden im Test Automation SDK von dSPACE kombiniert und darüber hinaus noch erweitert, indem über APIs eine Schnittstelle zu unterschiedlichen Testbenches geschaffen wird. Über diese Art und Weise ist es möglich, Testfälle, die in generischen OSS Frameworks (Pytest, Robot Framework …) geschrieben wurden, auf proprietären Testbenches auszuführen. So ist das Test Automation SDK der Schlüssel dazu, dass auch LLMs Testfälle auf gängiger Simulations-HW/SW (VEOS, SCALEXIO …) ausführen und die Ergebnisse interpretieren können.
Einsatz von Agentic AI
Die aktuellen Entwicklungen im Testing zeigen klar, dass KI klassische Testprozesse beschleunigen, die Qualität zeitgleich verbessern und repetitive Aufgaben automatisieren kann. Der Schlüssel für eine zukunftsfähige Testing Toolchain sind dabei generische Testsprachen, gute Dokumentation und offene Frameworks. Nur so kann KI ihre Stärken bei der Testfallgenerierung und Ergebnisanalyse wirklich entfalten, ohne in proprietäre Sackgassen zu geraten.
Doch wir stehen erst am Anfang. Der nächste Evolutionsschritt sind Agentic-AI-Systeme, also KI-Agenten, die nicht nur Testfälle generieren, sondern eigenständig handeln, Tools ausführen und komplexe Abläufe orchestrieren können. Mit dem Model Context Protocol (MCP) entsteht dafür ein standardisierter Ansatz, über den KI-Agenten strukturiert mit Test-Frameworks und bestehenden Tools interagieren können. Damit wird eine Zukunft greifbar, in der KI nicht nur Testfälle vorschlägt, sondern komplette Testaufgaben ausführt. Anforderungen analysieren, Testfälle generieren, Code ändern, Pipeline anstoßen, Ergebnisse auswerten und selbst Verbesserungen vorschlagen. Offene Tools mit MCP sind somit der Schlüsselbaustein für Shift-Left in der Software-Entwicklung mit KI-Agenten. Nur wenn Agentic AI während der autonomen Software-Entwicklung auf robuste, deterministische Testtools zugreifen kann, ist sichergestellt, dass die entstehende Software nicht nur schnell entwickelt wurde, sondern vor allem auch qualitativ hochwertig ist.
Die Abstraktionsschicht des Test Automation SDK ermöglicht es, einmal erstellte Testfälle sowohl für die Software-in-the-Loop (SIL)- als auch die Hardware-in-the-Loop (HIL)-Simulation zu nutzen.
Über die Autoren
Marco Buller
Manager, Business Development, dSPACE SE & Co. KG
Youssef Badawi
Project Engineer Testing & Data Management, dSPACE