Aus Fehlern lernen?

INSPIRATION: Es war bloß ein Unfall, so OpenAI. Aber wo ChatGPT schon mal in die freie Wildbahn entlassen war, musste ein Business-Case her. Und seitdem wird uns das Blaue vom Himmel versprochen. Die Sache hat bloß einen Haken.

„Was wir bekommen haben,“ so der Autor (Containment eines Laborunfalls), seines Zeichens Soziologe, Systemtheoretiker und KI-Manager bei der Stadt Dortmund, „ist keine KI, die Unternehmen oder die öffentliche Verwaltung umstandslos für ihre Bedarfe nutzen können. Es mangelt dafür nicht nur an Kompetenzen und Verantwortlichkeit in den Organisationen. Das Problem ist die Unzuverlässigkeit der Technologie.“

Die Maschine mag schlau reden, sie schwafelt aber auch oft, und manchmal halluziniert sie auch. Diese Kritik ist bekannt. Die Unzuverlässigkeit hat Methode. Denn sie basiert ja bloß auf Wahrscheinlichkeitsrechnung.

Jetzt könnte man entgegen, das sei für Unternehmen nichts Neues, mit Wahrscheinlichkeiten umgehen zu müssen. Die Zukunft ist halt ungewiss. Eine der Kernkompetenzen des Unternehmertums, so könnte man sagen, besteht darin, mit solchen Ungewissheiten erfolgreich umzugehen. Dafür nutzt man seit ewigen Zeiten Technik, Organisation – und, müsste man ergänzen, – allerlei Voodoo-Zeugs.

Aber ist das nicht paradox, so der Autor, dass man sich plötzlich von einer Technologie, die definitiv unverlässlich ist, „mehr Effizienz und weniger Bürokratie“ erhofft?

Mehr Effizienz und weniger Bürokratie

Na ja, könnte man erwidern, von Black-Box-Methoden in der Personalauswahl erhofft man sich – seit 20 Jahren wider besseres Wissen (DIN 33430) – auch „mehr Effizienz und weniger Bürokratie“. Womit dann vermutlich weniger Sorgfalt und weniger „Bevormundung durch Personalpsychologen“ gemeint sein dürfte. So what? Das macht es nicht besser.

Es ist der umfassende Anspruch, der oft als Heilslehre daherkommt, so der Autor, der den Unterschied mache. Es würde „unterschätzt, wie viel Geduld und ungewohnte Vorkehrungen es braucht, wenn man eine Technik einsetzen will, die systematisch und kumulativ Fehler in Akten und Bescheide einbauen oder sicherheitsrelevante Prozesse mit Ungenauigkeiten kontaminieren kann.“

Die Kasse muss aber stimmen

Man muss also auf krummen Zeilen gerade schreiben, wenn die Kasse stimmen oder amtliche Bescheide rechtssicher sein sollen. Man arbeitet schlicht mit einem Systemfehler: Mit Wahrscheinlichkeitsrechnung wird man niemals Wahrheit bekommen, sondern immer nur Wahrscheinlichkeiten. Und was machen die Unternehmen angesichts dieser Erkenntnis? Sie versuchen, Fehler zu minimieren.

Diese Strategie ist bekannt. Und dabei muss man nicht gleich an Six Sigma denken. Ich erinnere mich, schon vor Jahren von einem IT-Experten erklärt bekommen zu haben, dass jeder Software-Patch, der zur Fehlerbehebung gelauncht wird, zwangläufig (sic! Wahrscheinlichkeitsrechnung) wiederum fehlerhaft sein muss. Der Fehler ändert bloß den Ort. Es wird niemals eine perfekte IT geben …

Knietief im Sumpf des Postfaktischen

Doch jetzt wird’s ernst: ChatGPT hat pro Tag ungefähr 2,5 Milliarden Anfragen. „Selbst bei einer Halluzinationsrate von einem Prozent, die im Übrigen vollkommen unrealistisch ist, wären das 25 Millionen mit Fehlern generierte Texte, Analysen und Bilder – pro Tag, von einer Modellfamilie allein.“ Diese Masse an mangelhaften Daten wird zum Problem, weil sie nicht verdampft, sondern im System bleibt. Es sind „die Myriaden von fehlerhaften Daten, die ohne irgendeine Sorgfalt, Fachkompetenz, Überprüfung und Verantwortung mit KI generiert und verbreitet werden,“ die ein Problem darstellen. Denn die Maschinen wissen nicht, dass sie aus Fehlern lernen.

Der von KI als Output produzierte Quark oder Schrott, so kann man AI-Slop übersetzen, die ungaren, oberflächlichen, schrägen, halbwahren, hohlen Erkenntnisse, die gar mancher Mitarbeitende mit KI-Hilfe seinen Kollegen oder Führungskräften auf den Tisch legt – immer 1A eingepackt – werden zum Input neuer Prozesse. Und so weiter.

Der Schmetterlingseffekt

Das erinnert mich an ein Beispiel, das ich einmal in einem Lehrbuch las: Stellen Sie sich einmal vor, Ihr Taschenrechner kann bloß acht Stellen verarbeiten. Danach rundet er. Sie rechnen aber mit Zahlen wie Pi oder mit Brüchen, die als Dezimalzahlen in Perioden auslaufen (z.B. ein Drittel). Sie rechnen und rechnen (iterativ), die Rundungsfehler kumulieren, mal nach oben, mal nach unten, aber – on the long run – pflanzen sich die Fehler plötzlich explosionsartig fort. Man nennt das den Schmetterlingseffekt (Chaos als sinnvolle Form von Ordnung).

Es ist nicht bloß so, dass KI unzuverlässig ist. Der soziale Kontext seiner Nutzung ist es ebenfalls. Als Ergebnis zerschießen wir User uns kollektiv die Evidenz. Im Unterschied zu früher, da wurde auch schon mal Mist in Unternehmen produziert – manch einer wird da an blumige Prognosen der Marketing-Abteilung denken, die weder Hand noch Fuß hatten, und die dann wieder „eingestampft“ wurden – lebt diese aktuelle Datenprosa nun digitalisiert in GenKI weiter und verändert dauerhaft und unwiderruflich die kollektive Datenbasis. Denn selbstverständlich werden hochsensible Daten in die KI gepumpt – auch wenn man’s nicht darf. Und selbstverständlich überprüft man wunderschön aussehende KI-Antworten nicht auf Evidenz. Man ist fasziniert von so viel „Weisheit“. Warum sollte man da zweifeln und wertvolle Zeit für Überprüfungen verschwenden? Man hat doch Besseres zu tun.

Was sich da so hartnäckig in GenKI kumuliert, sind die typischen Vorurteile. Dass sich beispielsweise Generationen (GenY, -Z etc.) unterscheiden. Oder dass es vier Persönlichkeitstypen gibt, acht Basisemotionen, dass Männer durchsetzungsfähig und dynamisch sind … und dass die Erde eine Scheibe ist. Weil das die Leute hören wollen. Weil das ja auch in Social-Media immer wieder gehypt wird und fette Klickraten produziert.

Ergo spuckt GenKI auch immer wieder diese unzuverlässige Information als vermeintliche Wahrheit aus. Wissenschaftler, die dagegenhalten, werden als Sondermeinung, als Irrlichter aussortiert. Das will doch niemand hören! Und da klickt niemand drauf. GenKI liebt als stochastische Maschine den Mittelwert. Dagegen anzukämpfen ist eine Sisyphusarbeit. „LLMs [sind] die perfekte Technologie für das, was einige das postfaktische Zeitalter nennen.“

„In Gefahr und größter Not bringt der Mittelweg den Tod“

So lautet der Titel eines satirischen Films der deutschen Regisseure Alexander Kluge und Edgar Reitz aus dem Jahr 1974. Keine Frage, man kann bürokratisches Handeln durch GenKI ersetzen. Damit lässt sich vordergründig die Produktivität stark erhöhen. Ehrlicherweise muss man dann aber zugeben, dass darin Fehler enthalten sein werden. Mit Stichproben allein wird man diese nicht aufdecken können.

Bleibt nur zu hoffen, dass die Bescheid-Empfänger bürokratischen Handelns informiert genug sind und im Verdachtsfall eines Irrtums den Rechtsweg einschlagen. Sollten sie aber zu den Unterprivilegierten der Gesellschaft und nicht zu den Informierten gehören, sowie ihnen Scham oder Furcht den Schritt erschweren, verzichten sie nicht nur auf ihre Rechte. Das System lernt zugleich, dass es offensichtlich richtig liegt. Eine zynische und perfide Pointe. Rainer Mühlhoff hat diese Umstände schon ausführlich kritisiert (Verraten und verkauft). „Die Gefahr ist eben nicht,“ so Autor Karafillidis, „dass uns superintelligente Maschinen unterwerfen könnten, sondern dass wir ohne Not vor dummen Maschinen kapitulieren – ihnen also das Feld überlassen, weil wir ihnen leichtfertig überlegene Intelligenz zuschreiben.“

Kapitulation vor der KI

Man müsste in Organisationen folglich nicht die GenKI-Allzweckwaffen nutzen, sondern maßgeschneiderte Systeme auf kuratierter Basis einsetzen, und KI-Kompetenzen aufbauen. Und zugleich der Versuchung widerstehen, die durch KI-Einsatz frei gewordene Zeit zu weiterer Produktivitätssteigerung zu nutzen. Sie würde benötigt zur Überprüfung des KI-Outputs. Doch wer macht das? Wer überprüft das? Stattdessen schimpft man auf rechtliche Rahmenbedingungen, die einen „knechten“ (z.B. EU-AI Act). „Ohne irgendeine Form von Beschäftigung mit solchen Elementen einer KI-Governance und ein anderes Verständnis von Regulierung werden uns in der Arbeitswelt die Probleme der Produktion von KI-Schrott sowie das Feuerlöschen von Fehlern und Fehleinschätzungen mehr Arbeit machen, als der Einsatz von Generativen KI-Systemen uns jemals erspart.“ Man kann das als eine Dystopie lesen.