KI-Werkzeuge im Unternehmen bewerten: die Kriterien jenseits der Demo

In Anbieterterminen für KI-Werkzeuge fällt eine Regelmäßigkeit auf: Das vorgeführte Beispiel geht auf. Die Rechnung wird korrekt ausgelesen, die Vertragsklausel richtig eingeordnet, die Reklamation sauber kategorisiert. Wer denselben Vorgang eine Woche später mit einem eigenen Dokument wiederholt, erlebt etwas anderes — nicht unbedingt ein Versagen, aber ein deutlich schwankendes Ergebnis, dessen Güte niemand im Raum beziffern kann.

Das ist kein Vorwurf an die Anbieter. Eine Demonstration wird zwangsläufig an dem Fall entwickelt, den sie zeigt: Der Prompt ist auf dieses Dokument abgestimmt, die Nachbearbeitung auf dieses Ausgabeformat, die Beispieldaten sind bereinigt. Damit misst die Demo die Passung zwischen Werkzeug und Vorführfall — und über die Passung zwischen Werkzeug und Tagesgeschäft sagt sie nichts. Dieselbe Verzerrung tritt eine Ebene höher noch einmal auf, wenn Auswahlgremien stattdessen auf öffentliche Ranglisten schauen.

Warum jede Demonstration funktioniert

Der Mechanismus dahinter ist ein Auswahleffekt. Aus dem Raum aller denkbaren Vorgänge wird derjenige gezeigt, bei dem das Werkzeug bereits nachweislich funktioniert — alles andere wäre für einen Anbieter unvernünftig. Der beobachtete Erfolg ist damit kein Stichprobenergebnis, sondern das Maximum einer vorher gefilterten Menge. Aus einem Maximum lässt sich kein Mittelwert ableiten und schon gar keine Untergrenze.

Aussagekräftig wird eine Prüfung erst mit den Fällen, bei denen der Fachbereich selbst zögert: die Rechnung mit zwei Lieferadressen, die Reklamation, die zugleich eine Kündigung ist, der Vertrag mit handschriftlichem Zusatz. Diese Fälle kennt niemand außerhalb der Abteilung. Sie sind der eigentliche Prüfstein, weil dort der Nutzen entsteht — die einfachen achtzig Prozent erledigt in der Regel schon eine Regel oder ein Formular.

Was Benchmarks messen und was nicht

Öffentliche Bestenlisten leiden am selben Problem, nur schwerer erkennbar. Ein Forschungsteam von Scale AI baute 2024 mit GSM1k einen unveröffentlichten Kontrolltestsatz nach, der dem etablierten Schulmathematik-Benchmark GSM8k in Stil, Lösungsschritten und menschlicher Lösungsquote entspricht. Auf den gut 1.200 neuen Aufgaben fielen führende Modelle um bis zu 13 Prozent gegenüber ihrem öffentlichen Wert ab. Ganze Modellfamilien zeigten die Abweichung systematisch über nahezu alle Größen hinweg, während die damaligen Spitzenmodelle kaum nachließen.

Der Befund ist doppelt lehrreich. Er zeigt, dass ein öffentlicher Benchmark-Wert einen Teil auswendig gelerntes Testmaterial enthalten kann — die Studie fand einen positiven Zusammenhang zwischen der Wahrscheinlichkeit, mit der ein Modell GSM8k-Aufgaben wörtlich reproduziert, und seinem Abstand zwischen beiden Testsätzen. Und er zeigt, dass die Rangfolge nicht stabil ist: Modelle, die auf der öffentlichen Liste dicht beieinanderliegen, können auf unbekanntem Material weit auseinanderfallen.

Hinzu kommt, dass Ranglisten selbst gestaltbar sind. Eine Untersuchung von Cohere Labs und mehreren Universitäten wies 2025 für eine der meistzitierten öffentlichen Arenen nach, dass einzelne Anbieter zahlreiche Varianten nichtöffentlich testen und nur das beste Ergebnis veröffentlichen durften — in einem Fall 27 Varianten vor einer einzigen Freigabe. Zusätzlich erhielten zwei große Anbieter je rund ein Fünftel aller Nutzerabstimmungen, während 83 offene Modelle zusammen auf knapp 30 Prozent kamen.

Datenlecks im Testaufbau sind ein alter Befund

Dass Prüfaufbauten zu optimistische Ergebnisse liefern, ist keine Eigenart von Sprachmodellen. Arvind Narayanan und Sayash Kapoor von der Princeton University trugen 2023 in der Fachzeitschrift Patterns zusammen, was in der Forschung als Datenleck gilt — Testdaten, die auf irgendeinem Weg in das Training gelangen. Sie fanden 22 Übersichtsarbeiten aus 17 Fachgebieten, die zusammen 294 einzelne Studien mit genau diesem Fehler dokumentieren.

Für die Beschaffung folgt daraus eine unbequeme Konsequenz: Eine Genauigkeitsangabe ohne Beschreibung des Testaufbaus ist wertlos, unabhängig davon, wie hoch sie ist. Die entscheidende Rückfrage lautet nicht „wie genau“, sondern „gemessen woran, an wie vielen Fällen, und wer kannte die richtigen Antworten vorher“. Anbieter, die darauf mit einer Prozentzahl statt mit einer Beschreibung antworten, haben die Frage nicht verstanden oder wollen sie nicht beantworten.

Die eigenen zehn schwierigsten Fälle

Ein eigenes Prüfset ist kein Forschungsprojekt. Der Aufwand liegt bei ein bis zwei Arbeitstagen im Fachbereich und ersetzt Wochen an Meinungsaustausch. Entscheidend ist die Reihenfolge: Die richtige Antwort muss feststehen, bevor irgendein Werkzeug sie gesehen hat. Die GSM1k-Autoren haben genau so gearbeitet und dabei einen wesentlichen Teil ihres Materials verworfen — von 2.108 ursprünglichen Aufgaben überstanden nur 1.375 die Qualitätsprüfung.

1. Fälle sammeln Zehn bis dreißig echte Vorgänge aus den letzten sechs Monaten, ausgewählt vom Fachbereich nach dem Kriterium „hier musste ich nachdenken“ — nicht von der IT und nicht nach Dateiformat.
2. Sollergebnis schriftlich festhalten Für jeden Fall die fachlich richtige Antwort notieren, mitsamt Begründung. Ohne diesen Schritt bewertet man später das Ergebnis anhand der Ausgabe, die man gerade liest.
3. Zweitlösung durch eine andere Person Eine zweite Fachkraft löst dieselben Fälle, ohne die erste Lösung zu kennen. Fälle mit abweichendem Ergebnis fliegen raus oder werden geschärft — sie messen sonst die interne Uneinigkeit statt das Werkzeug.
4. Uneinigkeit beziffern Der Anteil übereinstimmender Bewertungen, um die zufällig zu erwartende Übereinstimmung bereinigt, ist eine belastbare Kennzahl. Sie ist zugleich die Obergrenze dessen, was ein Werkzeug erreichen kann.
5. Erst jetzt das Werkzeug zeigen Dieselben Fälle, ohne Vorabübergabe an den Anbieter, ohne Nachbesserung am Prompt zwischen den Durchgängen.
6. Ein Drittel zurückhalten Ein Teil der Fälle bleibt bis nach der Feinabstimmung unangetastet. Nur dieser Rest misst noch, was das Werkzeug bei unbekanntem Material leistet.

Der Prüfkatalog für das Anbietergespräch

Die zweite Hälfte der Prüfung ist vertraglich und lässt sich nicht vorführen. Die folgenden neun Punkte lassen sich in einem Termin abarbeiten. Aufschlussreich ist dabei weniger die Antwort selbst als ihre Form: Eine Ausflucht verschiebt die Frage regelmäßig auf eine benachbarte Ebene, auf der sie leichter zu bejahen ist.

Wo die Daten verarbeitet werden

Die Datenschutzkonferenz, das Gremium der unabhängigen Aufsichtsbehörden des Bundes und der Länder, hat die maßgeblichen Prüfpunkte in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024 zusammengestellt. Wer eine fremde Anwendung zu eigenen Zwecken einsetzt, steht danach in aller Regel in einem Auftragsverarbeitungsverhältnis nach Art. 28 f. DSGVO; ein Vertrag nach Art. 28 Abs. 3 DSGVO ist dann abzuschließen und keine Verhandlungsmasse.

Die Orientierungshilfe unterscheidet außerdem zwischen technisch geschlossenen Systemen, bei denen die Kontrolle über Ein- und Ausgaben beim Anwender bleibt, und offenen Diensten, deren Eingaben den geschützten Bereich verlassen. Für die zweite Gruppe kommen Übermittlungen in Drittstaaten nach Kapitel V DSGVO hinzu — ein Punkt, der in Auswahlgesprächen selten von allein zur Sprache kommt.

Was der AI Act dem Betreiber abverlangt

Wer ein KI-System lediglich einsetzt, ist nach der KI-Verordnung Betreiber und trägt eigene Pflichten. Die Kompetenzpflicht nach Art. 4 gilt seit dem 2. Februar 2025 und verlangt, dass die Beschäftigten über ein dem Einsatz angemessenes Maß an KI-Kompetenz verfügen — sie ist unabhängig von jeder Risikoklasse und wurde auch durch die spätere Entlastungsnovelle nicht verschoben.

Die Transparenzpflichten des Art. 50 gelten seit dem 2. August 2026. Betreiber müssen unter anderem offenlegen, wenn Emotionserkennung oder biometrische Kategorisierung eingesetzt wird, und KI-erzeugte oder manipulierte Texte kennzeichnen, die zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlicht werden. Von der Kennzeichnung ausgenommen sind Texte, die einer inhaltlichen menschlichen Prüfung oder redaktionellen Kontrolle unterlagen; eine reine Rechtschreibprüfung genügt dafür ausdrücklich nicht. Verstöße können mit bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet werden.

Die Verordnung (EU) 2026/1744, am 24. Juli 2026 im Amtsblatt verkündet und am 27. Juli 2026 in Kraft getreten, hat die Fristen für eigenständige Hochrisiko-Systeme auf den 2. Dezember 2027 verschoben. Art. 4 und Art. 50 blieben davon unberührt. Für die Auswahl heißt das: Die Frage nach der Rolle — Anbieter oder Betreiber — gehört an den Anfang, nicht ans Ende der Prüfung.

Warum die Rechnung mit der Nutzung wächst

Klassische Software wird je Arbeitsplatz und Monat abgerechnet; die Kosten sind planbar und sinken pro Vorgang, je mehr das System genutzt wird. Verbrauchsabhängig abgerechnete KI-Dienste drehen diese Logik um. Bezahlt werden Ein- und Ausgabeeinheiten, und die Zwischenschritte, die neuere Modelle vor der Antwort erzeugen, zählen dabei als Ausgabe mit — eine kurze sichtbare Antwort kann so ein Vielfaches ihrer Länge kosten.

Zwei Effekte verstärken das im Betrieb. Erstens wird in mehrstufigen Abläufen der gesamte bisherige Verlauf in jeder Runde erneut übertragen, sodass die Kosten eines Vorgangs überproportional zu seiner Länge steigen. Zweitens wächst die Nutzung nach einer erfolgreichen Einführung genau dann am stärksten, wenn die Belegschaft das Werkzeug angenommen hat. Der Pilot ist damit die günstigste Phase des gesamten Lebenszyklus — und die schlechteste Grundlage für eine Hochrechnung. In der Bitkom-Befragung vom März 2026 unter 604 Unternehmen ab 20 Beschäftigten gab jedes dritte Unternehmen mit KI-Einsatz (33 Prozent) an, die Kosten seien deutlich höher ausgefallen als erwartet.

Was diese Prüfung nicht leistet

Ein Prüfset aus dreißig Fällen erlaubt keine belastbare Aussage über seltene Fehler. Wer eine Fehlerquote von einem Prozent zuverlässig von drei Prozent unterscheiden will, braucht Hunderte von Fällen — dafür ist dieses Verfahren nicht gebaut. Es beantwortet eine gröbere, aber entscheidungsrelevantere Frage: ob das Werkzeug bei den Vorgängen trägt, an denen der Fachbereich tatsächlich Zeit verliert.

Ebenso wenig ersetzt es die laufende Kontrolle. Anbieter tauschen die zugrunde liegenden Modelle aus, und ein Wechsel kann die Ergebnisgüte in beide Richtungen verändern, ohne dass sich an der Bedienoberfläche etwas ändert. Das Prüfset behält deshalb seinen Wert nach der Beschaffung: Vierteljährlich erneut durchgespielt, ist es das einzige Instrument, das eine solche Verschiebung sichtbar macht.

Wer prüft, und in welcher Reihenfolge

Die Zuständigkeiten lassen sich sauber trennen. Der Fachbereich stellt die Fälle und die Sollergebnisse — diese Arbeit ist nicht delegierbar, weil nur dort bekannt ist, was ein richtiges Ergebnis ist. Die IT prüft Anbindung, Rechteverwaltung und Protokollierung. Datenschutz und Recht arbeiten den Vertragsteil des Prüfkatalogs ab. Der Einkauf rechnet die Kostenmechanik auf ein realistisches Nutzungsniveau hoch, nicht auf das des Piloten.

Die Reihenfolge ist dabei nicht beliebig: Die vertragliche Prüfung gehört vor die fachliche. Ein Werkzeug, dessen Anbieter keine Auftragsverarbeitung anbietet oder die Nutzung der Eingaben zum Training nicht vertraglich ausschließt, scheidet unabhängig von seiner Trefferquote aus. Wer umgekehrt beginnt, hat nach vier Wochen Testbetrieb einen begeisterten Fachbereich und ein Ausschlusskriterium — die teuerste aller Reihenfolgen.

Häufige Fragen

Wie viele Testfälle braucht eine belastbare Prüfung?

Für die Entscheidung zwischen zwei Werkzeugen genügen zehn bis dreißig schwierige Echtfälle, sofern die Sollergebnisse vorher schriftlich feststehen und von einer zweiten Person bestätigt wurden. Für die zuverlässige Unterscheidung kleiner Fehlerquoten — etwa ein Prozent gegenüber drei Prozent — reicht diese Größenordnung nicht; dafür sind mehrere Hundert Fälle nötig.

Reichen öffentliche Benchmarks für die Vorauswahl?

Für eine grobe Vorauswahl ja, für die Entscheidung nein. Auf einem unveröffentlichten Kontrolltestsatz verloren einzelne Modelle 2024 bis zu 13 Prozent Genauigkeit gegenüber ihrem öffentlichen Wert, weil Teile des öffentlichen Testmaterials im Training enthalten waren. Hinzu kommt, dass Anbieter Ranglisten durch nichtöffentliche Vorabtests und selektive Veröffentlichung beeinflussen können.

Muss für jedes KI-Werkzeug ein Auftragsverarbeitungsvertrag geschlossen werden?

Immer dann, wenn personenbezogene Daten verarbeitet werden und der Anbieter im Auftrag handelt. Nach der Orientierungshilfe der Datenschutzkonferenz liegt beim Einsatz einer fremden Anwendung zu eigenen Zwecken in der Regel Auftragsverarbeitung nach Art. 28 f. DSGVO vor, sodass ein Vertrag nach Art. 28 Abs. 3 DSGVO erforderlich ist. Behält sich der Anbieter daneben eine eigene Verarbeitung zu eigenen Zwecken vor, passt die Konstruktion nicht mehr.

Welche Pflichten aus dem AI Act treffen ein Unternehmen, das ein KI-Werkzeug nur einsetzt?

Ein einsetzendes Unternehmen gilt als Betreiber. Die Kompetenzpflicht nach Art. 4 der KI-Verordnung gilt seit dem 2. Februar 2025 unabhängig von der Risikoklasse. Die Transparenzpflichten nach Art. 50 gelten seit dem 2. August 2026 und betreffen unter anderem die Offenlegung von Emotionserkennung sowie die Kennzeichnung ungeprüfter KI-Texte zu Angelegenheiten von öffentlichem Interesse.

Warum sinken die Kosten nicht, wenn die Modellpreise fallen?

Weil bei verbrauchsabhängiger Abrechnung die Menge schneller wächst als der Stückpreis fällt. Nach erfolgreicher Einführung steigt die Zahl der Vorgänge, mehrstufige Abläufe übertragen den bisherigen Verlauf in jeder Runde erneut, und die internen Zwischenschritte neuerer Modelle werden als Ausgabe abgerechnet. In der Bitkom-Befragung vom März 2026 berichteten 33 Prozent der KI-nutzenden Unternehmen von deutlich höheren Kosten als erwartet.