Warum Bauchgefühl bei Prompts nicht ausreicht
In den meisten Unternehmen entstehen Prompts durch Ausprobieren. Jemand formuliert eine Anweisung, prüft zwei oder drei Antworten und übernimmt die Version, die am besten aussah. Das funktioniert im Einzelfall – aber sobald ein Prompt hundertfach oder täglich läuft, wird diese Vorgehensweise zum Risiko. Sprachmodelle sind nicht deterministisch: Dieselbe Eingabe kann unterschiedliche Ausgaben erzeugen. Wer nur drei Antworten betrachtet, sieht eine Stichprobe, keine Wahrheit.
Hinzu kommt ein psychologischer Effekt: Wer einen Prompt selbst geschrieben hat, bewertet dessen Ergebnisse wohlwollender. Fehler werden übersehen, weil man weiß, was gemeint war. Ein Kunde oder Mitarbeiter, der das Ergebnis ohne Kontext liest, urteilt anders. Genau deshalb braucht es objektive Kriterien statt subjektiver Eindrücke.
Der dritte Grund ist wirtschaftlicher Natur. Jede Anfrage an ein Sprachmodell kostet Geld. Bei tausend Anfragen pro Tag entscheidet die Wahl zwischen zwei Modellen oder zwei Prompt-Varianten schnell über vier- bis fünfstellige Beträge im Jahr. Diese Entscheidung sollte auf Zahlen beruhen.
Die sechs Kennzahlen, die wirklich zählen
1. Antwortgenauigkeit
Die wichtigste Frage lautet: Ist das Ergebnis sachlich korrekt und löst es die gestellte Aufgabe? Um das zu messen, brauchen Sie einen Referenzdatensatz – eine Sammlung typischer Eingaben mit bekannten, geprüften Soll-Ergebnissen. Für Klassifikationsaufgaben lässt sich die Genauigkeit exakt berechnen. Bei freien Texten arbeitet man mit Bewertungsskalen oder mit einem zweiten Modell als Prüfinstanz.
2. Konsistenz
Führen Sie denselben Prompt mehrfach mit identischer Eingabe aus und vergleichen Sie die Ergebnisse. Weichen sie stark voneinander ab, ist der Prompt zu offen formuliert. Konsistenz ist besonders dort entscheidend, wo Ergebnisse weiterverarbeitet werden – etwa wenn ein nachgelagertes System ein bestimmtes Format erwartet.
3. Formattreue
Wenn Sie strukturierte Ausgaben benötigen, etwa JSON für eine Schnittstelle, zählt nicht nur der Inhalt, sondern die Form. Messen Sie den Anteil der Antworten, die exakt dem geforderten Schema entsprechen. Schon eine Quote von 95 Prozent bedeutet bei tausend Anfragen fünfzig Fehlerfälle, die abgefangen werden müssen.
4. Halluzinationsrate
Sprachmodelle erfinden Fakten, wenn ihnen Informationen fehlen – und sie tun das überzeugend formuliert. Prüfen Sie deshalb gezielt, wie oft Aussagen entstehen, die nicht durch die zugrundeliegenden Daten gedeckt sind. Besonders kritisch ist das bei Anwendungen, die Kunden direkt sehen, oder bei rechtlich relevanten Inhalten.
5. Token-Verbrauch und Kosten
Abgerechnet wird nach Tokens, also Textbausteinen. Ein Token entspricht im Deutschen etwa 0,7 Wörtern. Sowohl Ihre Eingabe als auch die Antwort werden gezählt. Lange Systemprompts mit vielen Beispielen verbessern oft die Qualität, treiben aber die Kosten pro Anfrage nach oben. Diese Abwägung lässt sich nur mit konkreten Zahlen treffen.
6. Antwortzeit
Für interne Auswertungen spielt Latenz kaum eine Rolle. In einem Chat-Interface, das Kunden nutzen, schon: Wartezeiten über einigen Sekunden führen zu Abbrüchen. Größere Modelle und längere Antworten kosten Zeit – ein weiterer Faktor in der Gesamtbewertung.
Testaufbau: So evaluieren Sie systematisch
Schritt 1: Referenzdatensatz aufbauen
Sammeln Sie zwischen 30 und 100 echte Beispielfälle aus Ihrem Alltag – keine konstruierten Idealfälle. Wichtig ist die Bandbreite: einfache Standardfälle, typische Sonderfälle und bewusst schwierige Eingaben. Zu jedem Fall hinterlegen Sie das erwartete Ergebnis oder zumindest Kriterien, an denen sich ein gutes Ergebnis erkennen lässt.
Schritt 2: Varianten definieren
Ändern Sie immer nur einen Faktor pro Durchlauf. Vergleichen Sie also entweder zwei Prompt-Formulierungen beim selben Modell oder dasselbe Prompt bei zwei Modellen – nie beides gleichzeitig. Andernfalls lässt sich nicht zuordnen, worauf ein Unterschied zurückgeht. Das Prinzip entspricht dem A/B-Testing im Marketing.
Schritt 3: Mehrfach ausführen
Lassen Sie jede Variante mehrfach über den gesamten Datensatz laufen, idealerweise drei bis fünf Durchgänge. Erst dadurch wird sichtbar, wie stabil die Ergebnisse sind. Ein Prompt, der im Schnitt gut, aber stark schwankend arbeitet, ist für den produktiven Einsatz oft schlechter geeignet als einer mit etwas niedrigerem, dafür gleichmäßigem Niveau.
Schritt 4: Bewerten und dokumentieren
Halten Sie für jede Variante alle sechs Kennzahlen fest. Eine einfache Tabelle genügt am Anfang. Entscheidend ist, dass die Ergebnisse nachvollziehbar bleiben – auch in einem halben Jahr, wenn jemand fragt, warum eine bestimmte Variante gewählt wurde.
Qualität gegen Kosten abwägen
Die zentrale Kennzahl ist nicht der Preis pro Anfrage, sondern der Preis pro erfolgreich gelöster Aufgabe. Ein Beispiel: Modell A kostet ein Fünftel von Modell B, löst aber nur 70 Prozent der Fälle korrekt, während Modell B auf 95 Prozent kommt. Rechnet man die notwendigen Nachbesserungen und manuellen Korrekturen ein, kehrt sich der Kostenvorteil häufig um – besonders dann, wenn ein Mitarbeiter Fehler nacharbeiten muss.
Ein bewährter Ansatz ist die gestufte Verarbeitung: Ein kleines, günstiges Modell übernimmt die Masse der einfachen Fälle, ein größeres Modell wird nur bei Unsicherheit oder komplexen Eingaben hinzugezogen. Voraussetzung dafür ist eine verlässliche Erkennung, wann ein Fall schwierig ist – auch das lässt sich messen und optimieren.
Nicht unterschätzen sollte man den Einfluss der Prompt-Länge. Ausführliche Anweisungen mit vielen Beispielen verbessern die Qualität spürbar, verursachen aber bei jeder einzelnen Anfrage zusätzliche Kosten. Bei geringem Volumen ist das unerheblich, bei hohem Volumen ein relevanter Posten.
Werkzeuge und Automatisierung
Für den Einstieg genügt eine strukturierte Tabelle mit Testfällen, Varianten und Ergebnissen. Wer regelmäßig optimiert, sollte den Ablauf automatisieren: Ein Skript führt alle Testfälle gegen alle Varianten aus, protokolliert Kennzahlen und erstellt einen Vergleich. Solche Testsuiten lassen sich in die bestehende Entwicklungsumgebung integrieren und bei jeder Änderung automatisch ausführen.
Für die Bewertung freier Texte hat sich der Ansatz etabliert, ein zweites Modell als Prüfer einzusetzen. Es bewertet Antworten anhand definierter Kriterien und macht große Mengen überhaupt erst auswertbar. Wichtig ist, diese automatische Bewertung stichprobenartig gegen menschliche Einschätzungen zu prüfen – sonst optimieren Sie am Ende auf die Eigenheiten des Prüfmodells statt auf tatsächliche Qualität.
Einen ersten Eindruck von der Struktur Ihrer Prompts erhalten Sie mit unserem interaktiven Analysewerkzeug auf der Seite KI Prompt Engineer. Es bewertet Prompts nach Struktur, Klarheit, Spezifität und Effektivität und liefert konkrete Verbesserungsvorschläge.
Der häufigste Fehler: einmal testen und vergessen
Viele Teams evaluieren gründlich – einmal, zum Projektstart. Danach läuft das System jahrelang ungeprüft. Das ist riskant, weil Anbieter ihre Modelle regelmäßig aktualisieren. Ein Update kann das Verhalten verändern, ohne dass an Ihrer Seite etwas angepasst wurde. Prompts, die vorher zuverlässig funktionierten, liefern plötzlich abweichende Formate oder andere Schwerpunkte.
Deshalb gehört Evaluation in den laufenden Betrieb. Eine automatisierte Testsuite, die wöchentlich läuft und bei Abweichungen Alarm schlägt, verhindert, dass Qualitätsprobleme erst über Kundenbeschwerden auffallen. Der Aufwand dafür ist einmalig, der Nutzen dauerhaft.
Ebenso wichtig: Dokumentieren Sie, welche Modellversion mit welchem Prompt getestet wurde. Ohne diese Zuordnung lässt sich später nicht rekonstruieren, warum sich Ergebnisse verändert haben.
Rechenbeispiel: Wenn das günstige Modell teurer wird
Ein Dienstleister verarbeitet täglich 2.000 eingehende E-Mails und lässt sie automatisch kategorisieren und zusammenfassen. Zur Auswahl stehen ein kleines und ein großes Modell. Das kleine Modell kostet pro Anfrage etwa ein Fünftel, erreicht in der Evaluation aber eine Trefferquote von 78 Prozent. Das große Modell liegt bei 96 Prozent.
Auf den ersten Blick spricht alles für die günstige Variante. Rechnet man jedoch weiter: Bei 78 Prozent Trefferquote landen täglich rund 440 Vorgänge falsch kategorisiert im System. Jede Korrektur kostet einen Mitarbeiter im Schnitt zwei Minuten – zusammen fast fünfzehn Arbeitsstunden pro Tag. Beim großen Modell sind es 80 Fehlerfälle, also etwa zweieinhalb Stunden.
Die eingesparten Modellkosten stehen damit einem Vielfachen an Personalaufwand gegenüber. Genau solche Zusammenhänge werden erst sichtbar, wenn man Qualität misst statt schätzt. In diesem Fall wäre die wirtschaftlichste Lösung vermutlich eine Kombination: das kleine Modell für eindeutige Fälle, das große Modell immer dann, wenn die Zuordnung unsicher ist.
Besonderheit: Systeme mit eigenen Daten bewerten
Sobald ein Sprachmodell auf Ihre eigenen Dokumente zugreift – im Fachjargon Retrieval-Augmented Generation – reicht es nicht, nur die Antwort zu bewerten. Sie müssen zusätzlich prüfen, ob die richtigen Quellen überhaupt gefunden wurden. Denn eine falsche Antwort kann zwei völlig unterschiedliche Ursachen haben: Entweder hat das Modell schlecht formuliert, oder es hat die passende Information gar nicht erhalten.
Messen Sie deshalb getrennt: Wie oft liefert die Suche das relevante Dokument unter den Treffern? Und wie gut nutzt das Modell die gefundenen Informationen? Erst diese Trennung zeigt, wo Optimierung ansetzen muss. Häufig liegt das Problem nicht beim Prompt, sondern bei der Aufbereitung der Dokumente – etwa wenn Texte in zu große oder zu kleine Abschnitte zerlegt wurden.
Ein zusätzliches Qualitätskriterium ist die Belegbarkeit: Kann jede Aussage der Antwort auf eine konkrete Quelle zurückgeführt werden? Systeme, die Quellenangaben mitliefern, lassen sich deutlich einfacher prüfen und schaffen bei Nutzern mehr Vertrauen.
Wer sollte bewerten – und wie oft?
Die technische Auswertung übernimmt sinnvollerweise die Entwicklung, die inhaltliche Bewertung aber die Fachabteilung. Nur wer die Aufgabe täglich bearbeitet, erkennt, ob eine Antwort fachlich brauchbar ist. In der Praxis hat sich ein einfaches Vorgehen bewährt: Die Fachabteilung bewertet regelmäßig eine kleine Stichprobe nach einer dreistufigen Skala – brauchbar, mit Nachbesserung brauchbar, unbrauchbar.
Diese menschliche Bewertung dient zugleich als Kontrolle für automatisierte Verfahren. Weichen beide dauerhaft voneinander ab, stimmen die Bewertungskriterien nicht. Ein Aufwand von etwa einer Stunde pro Monat genügt in vielen Fällen, um grobe Fehlentwicklungen früh zu erkennen.
Checkliste für Ihr Evaluations-Setup
Bevor eine KI-Anwendung produktiv geht, sollten die folgenden Punkte geklärt sein. Sie lassen sich in wenigen Tagen aufsetzen und ersparen später erhebliche Nacharbeit:
Datengrundlage: Existiert ein Referenzdatensatz mit mindestens 30 echten Fällen inklusive Sonderfällen? Sind die erwarteten Ergebnisse dokumentiert und von der Fachabteilung freigegeben?
Kennzahlen: Ist festgelegt, welche Werte gemessen werden und ab welcher Schwelle ein Ergebnis als ausreichend gilt? Ohne definierte Zielwerte lässt sich später nicht entscheiden, ob eine Änderung eine Verbesserung war.
Wiederholbarkeit: Kann der Test per Knopfdruck erneut ausgeführt werden? Manuelle Testprozesse werden erfahrungsgemäß nach wenigen Wochen nicht mehr durchgeführt.
Kostenkontrolle: Werden Token-Verbrauch und Kosten pro Anfrage mitprotokolliert? Gibt es ein Limit oder eine Warnung, bevor unerwartet hohe Kosten entstehen?
Überwachung im Betrieb: Läuft ein regelmäßiger automatischer Test, der bei Qualitätsabfall meldet? Ist geklärt, wer diese Meldung erhält und reagiert?
Dokumentation: Sind Modellversion, Prompt-Stand und Testergebnis gemeinsam festgehalten? Nur so bleibt nachvollziehbar, worauf spätere Veränderungen zurückgehen.
Wer diese sechs Punkte erfüllt, hat eine solide Basis – unabhängig davon, ob er mit einem einzelnen Prompt oder einer umfangreichen KI-Anwendung arbeitet. Für Teams, die den Umgang mit Sprachmodellen grundsätzlich professionalisieren möchten, bieten wir zusätzlich praxisnahe KI Schulungen an.
Fazit
Prompt-Optimierung ohne Messung ist Glückssache. Mit einem überschaubaren Aufbau – 30 bis 100 echte Testfälle, klar definierte Kennzahlen und ein systematischer Vergleich einzelner Varianten – lässt sich objektiv beurteilen, welche Lösung besser arbeitet und was sie kostet. Der anfängliche Aufwand amortisiert sich schnell, weil Sie Fehlentscheidungen vermeiden und Kosten gezielt senken können.
Entscheidend ist, Evaluation nicht als einmaliges Projekt zu verstehen, sondern als festen Bestandteil des Betriebs. Modelle ändern sich, Anforderungen wachsen, Datenmengen steigen. Wer seine Kennzahlen kennt, merkt Veränderungen früh – und kann reagieren, bevor Nutzer sie bemerken.
Wenn Sie Unterstützung beim Aufbau eines Evaluations-Setups oder bei der Optimierung bestehender Anwendungen benötigen, begleiten wir Sie im Rahmen unserer KI Beratung und der KI Entwicklung. In einem kostenlosen Erstgespräch klären wir, welche Kennzahlen für Ihren Anwendungsfall relevant sind und mit welchem Aufwand Sie rechnen sollten.