Zwischen Klick und Kontext

Warum gute End-to-End-Tests fachliches Denken brauchen

Ein grüner Test ist ein guter Test. Oder?

Genau diese vermeintlich einfache Gleichung ist mir vor einigen Wochen in einem unserer Projekte wieder begegnet. Denn ein End-to-End-Test kann technisch einwandfrei durchlaufen – und trotzdem ein fachlich falsches Ergebnis liefern.

In unserem Fall ging es um eine Anwendung im KRITIS-Umfeld, die Fachanwender bei der Bearbeitung komplexer Vorgänge unterstützt. Teilweise müssen dabei mehr als 100 zusammenhängende Dokumente identifiziert, klassifiziert und miteinander verknüpft werden. Eine KI-Komponente unterstützt bei genau dieser Aufgabe.

Im Review sah zunächst alles gut aus: Der End-to-End-Test lief grün, alle Schritte wurden durchlaufen, keine Fehler, die Antwortzeiten passten. Trotzdem hatte die Anwendung zwei inhaltlich zusammengehörende Dokumente als unabhängig voneinander markiert.

Technisch richtig getestet – fachlich trotzdem falsch.

Und genau da wird es für mich interessant: Ein guter End-to-End-Test muss nicht nur prüfen, ob etwas funktioniert. Er muss auch abbilden können, ob das Richtige passiert. Und dafür braucht es etwas, das sich nicht einfach automatisieren lässt: fachliches Verständnis.

Wenn „grün“ nicht automatisch „richtig“ bedeutet

erade im KRITIS-Umfeld kann dieser Unterschied entscheidend sein. Hier hängen an solchen Zusammenhängen Entscheidungen, die im Zweifel sicherheits- oder regulatorisch relevant sind. Wird eine wichtige Verbindung zwischen zwei Dokumenten übersehen, kann ein kompletter Vorgang falsch bewertet werden.

Hinzu kommt die Komplexität. Es geht nicht darum, ein einzelnes Dokument isoliert zu prüfen, sondern potenziell hunderte davon in ihrem Zusammenspiel zu verstehen: Klassifikationen, Kontext und Abhängigkeiten gleichzeitig.

Ein Test kann dabei technisch alles richtig machen. Er kann prüfen, ob Dokumente verarbeitet wurden, ob eine Klassifikation stattgefunden hat und ob Verknüpfungen erzeugt wurden. Sind alle erwarteten Schritte erfolgt, läuft er grün.

Was damit noch nicht beantwortet ist: Ist das Ergebnis auch fachlich richtig?

In unserem Beispiel hatte die KI zwei Dokumente plausibel, aber fachlich falsch behandelt. Für einen Test, der lediglich prüft, ob überhaupt eine Klassifikation erfolgt ist, sieht das völlig in Ordnung aus. Um den Fehler zu erkennen, muss bekannt sein, dass genau diese beiden Dokumente aufgrund ihres Inhalts zusammengehören.

„Kein technischer Fehler“ und „fachlich korrekt“ sind deshalb zwei unterschiedliche Dinge. Genau hier trennt sich ein Test, der lediglich einen Ablauf bestätigt, von einem Test, der tatsächlich die Qualität des Systems überprüft.

Was gute End-to-End-Tests wirklich brauchen

Damit ein End-to-End-Test nicht nur technische Abläufe, sondern auch fachliche Qualität absichert, braucht es aus meiner Sicht vor allem vier Dinge.

Gute Tests beginnen nicht erst beim Testing

An dieser Stelle zeigt sich eine Parallele, die ich wichtig finde: Eine gute User Story entsteht nicht ohne fachliches Verständnis. Ein guter Test genauso wenig.

Wenn bereits in der Anforderung nicht eindeutig beschrieben ist, welches Verhalten fachlich erwartet wird, lässt sich daraus auch kein wirklich aussagekräftiger Test ableiten. Die Qualität des Tests beginnt deshalb deutlich früher als bei seiner technischen Umsetzung.

Fachverständnis schafft die Grundlage für gute Anforderungen. Gute Anforderungen ermöglichen sinnvolle Testfälle. Und erst auf dieser Basis kann Testautomatisierung zuverlässig funktionieren.

Fehlt die fachliche Präzision am Anfang, setzt sich diese Unschärfe durch den gesamten Prozess fort. Ein technisch sauber umgesetzter Test kann dieses Defizit später nicht einfach ausgleichen.

Das macht Fachwissen nicht nur beim Bewerten eines Testergebnisses relevant. Es entscheidet bereits darüber, welche Fälle überhaupt getestet werden, welche Daten dafür sinnvoll sind und welche Ergebnisse als korrekt gelten.

KI als Verstärker, nicht als Ersatz

KI kann bei der Testgenerierung und der Abdeckung enorm helfen. Gerade wenn es um die Kombinatorik bei hundert Dokumenten geht, kann kein Mensch alle relevanten Variationen von Hand durchdenken. Hier ist KI ein echter Hebel: Sie kann Varianten erzeugen, Testfälle ableiten und dabei helfen, eine deutlich größere Zahl an Szenarien abzudecken.

Sie verändert aber nicht die grundlegende Frage, was ein korrektes Ergebnis ist.

KI-generierte Tests sind nur so gut wie die User Stories, Anforderungen und fachlichen Annahmen, auf denen sie basieren. Ist die Grundlage unscharf, entstehen dadurch nicht automatisch bessere Tests. Im Zweifel werden lediglich mehr Tests auf Basis derselben unklaren Annahmen erzeugt.

Das Problem wird also nicht gelöst, sondern skaliert.

Deshalb bleibt der fachlich versierte Mensch eine entscheidende Instanz im Testprozess. KI kann ausführen, kombinieren und Vorschläge machen. Die fachliche Urteilskraft darüber, ob ein Ergebnis im konkreten Kontext tatsächlich stimmt, kann sie nicht einfach ersetzen.

Das bedeutet nicht, auf KI bei der Testgenerierung zu verzichten – im Gegenteil. Gerade bei komplexen Szenarien kann sie helfen, eine Breite abzudecken, die manuell kaum zu erreichen wäre. Umso wichtiger ist aber, dass die fachliche Grundlage stimmt, auf der diese Tests entstehen.

Was am Ende zählt

Mit zunehmender Automatisierung wird die Verbindung aus technischer und fachlicher Kompetenz wichtiger. Fachexpert sollten deshalb früh ins Testdesign eingebunden werden, reale Fachszenarien die Grundlage für Testfälle bilden und auch KI-generierte Tests fachlich geprüft werden.

Denn KI kann helfen, mehr Szenarien abzudecken und Tests effizienter zu erzeugen. Ob das Ergebnis tatsächlich richtig ist, entscheidet sich aber nicht allein an Tools, Frameworks oder Automatisierungsgrad.

Ein Klick ist schnell automatisiert. Kontext nicht.

Und genau dieser Kontext macht aus einem technisch grünen Test einen wirklich guten End-to-End-Test.

Über den Autor

SILKE? + Kontakt

Bei Einsatz von KI-Bildern (auch nur für Header- oder Zusatzbild verwenden; nicht zutreffendes einfach herausstreichen):
Hinweis: Das Header- und Zusatzbild dieses Artikels wurden mithilfe Künstlicher Intelligenz erstellt.