Kurz gesagt: Große Sprachmodelle (LLMs) liefern bei der Bewertung von Texten keine ausreichend zuverlässigen Ergebnisse. Trotz intensiver Weiterentwicklung über anderthalb Jahre hat sich daran grundlegend nichts geändert. Statt Tools weiter anzubieten, deren Ergebnisse wir nicht mit gutem Gewissen empfehlen können, ziehen wir die Konsequenz.
Der Hintergrund
In Gesprächen mit Lehrkräften wurde immer wieder ein Tool gewünscht: Eine KI-Korrekturhilfe, die bei der Vorkorrektur unterstützt. Gemeinsam mit Lehrerinnen und Lehrern haben wir in mehreren Runden entsprechende Tools entwickelt und nach und nach ausgerollt. Wir haben internes und externes Feedback eingeholt, Überarbeitungen eingebaut und weiter getestet. Das Kernproblem blieb dabei ungelöst:
Bei gleicher Eingabe, gleichen Kriterien und wiederholter Auswertung liefern Sprachmodelle unterschiedliche Bewertungen. Das ist kein Prompt-Problem, das sich mit der nächsten Iteration lösen lässt. Es ist eine strukturelle Einschränkung der Technologie in ihrer aktuellen Form.