Zwischen Klick und Kontext
Warum KI-generierte End-to-End-Tests gute fachliche Anforderungen brauchen
Ein grüner Test ist ein guter Test. Oder?
Vor einigen Wochen erzählte mir ein Kollege in der Kaffeeküche von einem Problem aus seinem aktuellen Projekt. Eine KI unterstützt dort Fachanwender dabei, teilweise mehr als 100 zusammenhängende Dokumente zu identifizieren, zu klassifizieren und miteinander zu verknüpfen.
Für die Testerstellung wurde eine KI eingesetzt und beim Testing war etwas Merkwürdiges aufgefallen: Der End-to-End-Test lief grün – das Ergebnis war trotzdem falsch.
Die Anwendung hatte zwei Dokumente als unabhängig voneinander bewertet, obwohl sie fachlich zusammengehörten. Der Test hat das Ergebnis als richtig klassifiziert, obwohl das Ergebnis fachlich falsch ist. Technisch hatte der Test also funktioniert. Fachlich aber nicht.
An diesem Punkt wurde ich hellhörig. Denn für mich war die spannende Frage nicht nur, warum der Test den Fehler nicht erkannt hatte, sondern was der KI bei der Testerstellung gefehlt hat, um diesen Fehler zu erkennen.
Gerade im KRITIS-Umfeld oder in Kernanwendungen unserer Kunden kann dieser Unterschied entscheidend sein. Hier hängen an solchen Zusammenhängen Entscheidungen, die im Zweifel sicherheits- oder regulatorisch relevant sind. Wird eine wichtige Verbindung zwischen zwei Dokumenten übersehen, kann ein kompletter Vorgang falsch bewertet werden.
Hinzu kommt die Komplexität. Es geht nicht darum, ein einzelnes Dokument isoliert zu prüfen, sondern potenziell hunderte davon in ihrem Zusammenspiel zu verstehen: Klassifikationen, Kontext und Abhängigkeiten gleichzeitig.
Aus einem kurzen Gespräch in der Kaffeeküche wurde so schnell eine grundsätzliche Diskussion über End-to-End-Tests, KI und die Qualität fachlicher Anforderungen. Und je länger wir darüber gesprochen haben, desto deutlicher wurde: Das eigentliche Problem begann viel früher als beim Test selbst.
Was ist bei der Testerstellung notwendig, um fachlich richtig zu prüfen?
Ein End-to-End-Test betrachtet einen vollständigen Ablauf aus Nutzer- und damit fachlicher Sicht. Die technische Basis sollte zu diesem Zeitpunkt bereits durch Modul- und Integrationstests abgesichert sein.
In unserem Gespräch sind wir noch einmal auf den konkreten Fall zurückgegangen. Der Test konnte feststellen, ob die Dokumente verarbeitet und klassifiziert wurden und ob Verknüpfungen entstanden waren. Technisch war all das passiert. Aber woher sollte der Test wissen, dass genau diese beiden Dokumente zusammengehörten?
Damit wurde für uns der entscheidende Punkt sichtbar: Ein Test kann nur dann fachliche Qualität überprüfen, wenn zuvor beschrieben wurde, was in der jeweiligen Situation fachlich richtig ist.
Um die Qualität einer Software durch Tests messen zu können, müssen die Tests gut sein. Gut heißt in diesem Fall, dass die Erfüllung aller Anforderungen überprüft wird. Wenige Fehler zu finden, bedeutet nicht automatisch eine gute Softwarequalität. Es kann auch auf Mängel bei den Tests hindeuten. Hier kommen Anforderungen und Akzeptanzkriterien ins Spiel.
Was ändert KI an dieser Herausforderung?
Mein Kollege und ich haben dann überlegt, was das für KI-generierte Tests bedeutet.
Denn gerade bei einem Szenario mit einer vielschichtigen Fachlichkeit liegt der Nutzen von KI auf der Hand: Sie kann Anforderungen analysieren, Varianten erzeugen und verschiedene User Stories zu komplexeren Testszenarien kombinieren. Kein Mensch wird jede denkbare Konstellation im Kopf durchspielen, um die Tests zu erzeugen.
KI kann die Testabdeckung also enorm erweitern. Aber sie verändert eine grundlegende Voraussetzung nicht: Auch eine KI braucht eine belastbare fachliche Grundlage, aus der sie ableiten kann, was getestet werden soll und welches Ergebnis korrekt ist.
Sind User Stories, Anforderungen oder Akzeptanzkriterien unvollständig, widersprüchlich oder mehrdeutig, macht KI daraus nicht automatisch bessere Tests. Im Gegenteil: Sie kann dieselbe Unschärfe auf sehr viele Tests übertragen.
Das war für mich eine wichtige Erkenntnis aus unserem Gespräch: KI kann Testgenerierung
skalieren – aber damit steigt auch die Bedeutung der fachlichen Grundlage.
Warum gute Tests mit guten Anforderungen beginnen
Damit waren wir gedanklich längst nicht mehr beim ursprünglichen Fehler, sondern bei der Frage, was gute Anforderungen eigentlich leisten müssen. Wenn daraus aussagekräftige Tests entstehen sollen, sollten sie möglichst eindeutig, konsistent, vollständig und testbar sein.
Das bedeutet auch, nicht nur den positiven Standardfall zu beschreiben. Gerade fachliche Grenzfälle sind relevant: Was passiert bei widersprüchlichen Informationen? Was bei fehlenden Dokumenten? Welche Mehrdeutigkeiten können auftreten? Und woran lässt sich eindeutig erkennen, dass ein Ergebnis falsch ist?
Unser Beispiel mit den beiden Dokumenten zeigt das ziemlich gut. Wenn nirgendwo beschrieben ist, dass diese Konstellation fachlich einen Zusammenhang darstellt, fehlt auch dem daraus abgeleiteten Test eine wichtige Information.
Deshalb beginnt die Qualität eines Tests nicht mit seiner technischen Umsetzung.
Fachverständnis schafft gute Anforderungen. Gute Anforderungen ermöglichen gute Tests. Und auf dieser Basis kann KI ihre eigentliche Stärke ausspielen.
Wo gute Anforderungen an ihre Grenzen kommen
Selbst bei sehr guten Anforderungen wird es kaum gelingen, jedes Fachwissen vollständig in User Stories und Akzeptanzkriterien festzuhalten.
Erfahrene Fachanwender wissen oft Dinge, die nirgendwo explizit dokumentiert sind. Sie erkennen ungewöhnliche Konstellationen, Zusammenhänge oder Ergebnisse, die auf den ersten Blick plausibel aussehen, im konkreten Kontext aber keinen Sinn ergeben.
Genau deshalb braucht gutes Testing aus meiner Sicht mehr als gute Anforderungen und daraus resultierende Testfälle. Vier Dinge sind dabei besonders wichtig:
Warum KI den fachlichen Blick nicht ersetzt
Für meinen Kollegen bedeutete das auch: Die Lösung kann nicht darin bestehen, einfach immer mehr Tests zu generieren. Automatisierte Tests können bekannte Anforderungen sehr effizient und wiederholbar überprüfen. KI kann zusätzlich helfen, daraus neue Kombinationen und Varianten abzuleiten.
Daneben bleibt aber auch exploratives Testen wertvoll. Ein Fachanwender, der sich frei durch eine Anwendung bewegt, stellt andere Fragen, probiert ungewöhnliche Konstellationen aus und erkennt möglicherweise einen Zusammenhang, der bisher in keiner User Story berücksichtigt wurde. KI kann auch Widersprüche in den Anforderungen erkennen aber nicht selbst auflösen.
Entscheidend ist, was anschließend mit dieser Erkenntnis passiert. Wird ein neuer fachlicher Fall oder ein Widerspruch entdeckt, sollte er zurück in die Anforderungen, Akzeptanzkriterien und Tests fließen. So wächst die fachliche Grundlage mit dem Wissen, das im Testing entsteht.
Fachlichkeit → Anforderungen → Tests → neue Erkenntnisse → zurück in die Fachlichkeit.
Gerade mit KI kann daraus ein ziemlich wirkungsvoller Kreislauf entstehen.
Was bleibt: Gute Tests entstehen im Zusammenspiel
Eigentlich hatte mein Kollege mir nur von einem grünen Test erzählt, bei dem trotzdem etwas schiefgelaufen war. Am Ende haben wir viel länger darüber gesprochen als geplant. Denn hinter dem einzelnen Fehler steckte eine größere Frage: Wie stellen wir sicher, dass wir mit immer leistungsfähigerer KI-Unterstützung tatsächlich das Richtige testen?
Meine Antwort darauf ist heute etwas klarer als vor diesem Gespräch.
KI kann uns dabei helfen, Anforderungen zu kombinieren, Testfälle zu generieren und eine Komplexität abzudecken, die manuell kaum noch beherrschbar wäre. KI nimmt uns viel Fleißarbeit ab. Aber sie braucht dafür etwas, das schon vorher stimmen muss: eine fachlich möglichst gute Beschreibung dessen, was richtig und was falsch ist.
Und dort, wo sich dieses Wissen nicht vollständig beschreiben lässt oder wo Wissen lückenhaft ist, brauchen wir weiterhin die Menschen, die den fachlichen Kontext kennen, Ergebnisse hinterfragen und neue Fälle entdecken.
Vielleicht war genau das die wichtigste Erkenntnis aus unserem Gespräch:
Gute Tests entstehen nicht allein durch KI. Sie entstehen im Zusammenspiel aus Fachwissen, guten Anforderungen und Technologie.
Über die Autoren
Silke Köhnlein ist Senior Managing Consultant bei BettercallPaul und bringt langjährige Erfahrung in der IT-Beratung mit. Ihre Schwerpunkte liegen in der Anforderungsanalyse, fachlichen Spezifikation und im Testmanagement. Dabei begleitet sie komplexe IT-Projekte von der fachlichen Konzeption bis zur Umsetzung und verbindet tiefes Fachverständnis mit einem klaren Blick für Qualität.
Besonders wichtig ist ihr das Zusammenspiel von Fachlichkeit und Technologie: Gute Lösungen entstehen für sie dort, wo Anforderungen wirklich verstanden, präzise beschrieben und konsequent überprüft werden. Ihre Erfahrung aus unterschiedlichen Branchen und Projekten bringt sie dabei sowohl in die Beratung als auch in die Zusammenarbeit mit Fachbereichen und Entwicklungsteams ein.
Stefan Steinert ist Senior Software Engineer bei BettercallPaul in Berlin. Er entwickelt individuelle Softwarelösungen mit Schwerpunkt auf Full-Stack-Entwicklung und C#. Seine Erfahrung reicht von Anwendungen im Gesundheitswesen bis zu Schnittstellen und Datenlösungen für den Einzelhandel.
Stefan begleitet Projekte von der Anforderungsanalyse über die Konzeption und Entwicklung bis zum Deployment. Dabei verbindet er einen analytischen Blick auf komplexe fachliche Abläufe mit einem hohen Anspruch an sauberen Code und verlässliche Tests.
Hinweis:
Das Header- und Zusatzbild dieses Artikels wurden mithilfe Künstlicher Intelligenz erstellt.
Falls du dir diesen Artikel hast vorlesen lassen: Die Audioversion wurde mithilfe einer KI-generierten Stimme erstellt.
