KI im Makleralltag

Die erfundene Antwort: Wenn die KI halluziniert

Warum die Antworten der künstlichen Intelligenz (KI) mitunter schwanken, hat KI-Experte René Jansen in seinem letzten Gastbeitrag erklärt. Dieses Mal geht es darum, wie es dazu kommt, dass die KI halluziniert.
René Jansen ist Gesellschafter und Geschäftsführer der Insuracon GmbH.
© Insuracon
René Jansen ist Gesellschafter und Geschäftsführer der Insuracon GmbH.

Erinnern Sie sich an die Bestandsanalyse aus der letzten Folge? Montag acht Punkte, Donnerstag fünf. Diesmal ist die Analyse der künstlichen Intelligenz (KI) tadellos. Fast. Punkt sechs verweist auf eine Neuregelung, die für Ihren Kunden vorteilhaft ist. Sie suchen die Quelle, bevor Sie den Kunden anrufen. Es gibt sie nicht. Es gab sie nie.

Sieben Punkte stimmen, einer ist erfunden. Und alle acht klingen exakt gleich sicher. „Weiß ich nicht“ sagt die KI so gut wie nie.

Die KI lügt nicht. Sie füllt Lücken.

Halluzination hat sich als Begriff dafür durchgesetzt. Streng genommen ist er schief. Halluzinieren heißt wahrnehmen, was nicht da ist. Ein KI-System nimmt nichts wahr. Die Gedächtnisforschung kennt das treffendere Wort: Konfabulation. So nennt sie das Füllen von Erinnerungslücken mit Erfundenem. Ohne Absicht, mit voller Überzeugung, und es klingt völlig schlüssig.

Genau so arbeitet generative KI. Sie erzeugt die Fortsetzung, die am besten passt. Wo Wissen fehlt, passt eben das Schlüssige, nicht das Wahre. Im Alltag bleibt es trotzdem beim Wort Halluzination. Nur hilft das zweite Wort zu verstehen, was wirklich geschieht.

Die KI will Antworten liefern

Wie überzeugend das Erfundene daherkommt, zeigte die Psychiaterin Alessia McGowan mit ihrem Team am New Yorker Mount Sinai in der Frühzeit der Chatbots: Auf die Bitte um 35 Fachquellen lieferte ChatGPT genau zwei, die es wirklich gab. Der Rest war fehlerhaft oder aus echten Versatzstücken frei zusammengesetzt, sah aber aus wie eine ordentliche Literaturliste. Heutige Systeme erfinden deutlich seltener Quellen. Verlernt haben sie es nicht.

Daraus folgen zwei Dinge, die in der Praxis oft überraschen. Erstens: Halluzinationen müssen kein Zeichen schlechter Daten sein. Ihre Datenbasis kann tadellos gepflegt sein, die Erfindung entsteht beim Erzeugen der Antwort. Meist trifft es das Wissen drumherum, den Markt oder die Rechtslage.

Zweitens: Die Systeme raten lieber, als zu passen. Sie wurden dafür belohnt, Antworten zu liefern. Fürs Zögern gab es selten Punkte. Und sie wissen nicht, was sie nicht wissen.

Es wird besser. Es wird nicht sicher.

Fairerweise: Die Entwicklung zeigt in die richtige Richtung. Systeme mit Quellenanbindung erfinden seltener, und neuere Modelle sagen häufiger, dass sie zu einer Frage nichts Belastbares haben. Leichter wird die Prüfung dadurch allerdings nicht, eher im Gegenteil. Die groben Erfindungen von damals fielen Fachleuten sofort auf. Was heute übrig bleibt, sind Nuancen: die fast richtige Zahl, die fast geltende Frist. Je seltener der Fehler, desto leichter rutscht er durch.

Wer im professionellen Betrieb Quellenpflicht und die Kennzeichnung von Annahmen fest in den Grundanweisungen verankert, wie in der letzten Folge beschrieben, senkt die Quote weiter. Nur verschwinden wird das Phänomen auf absehbare Zeit nicht, denn es ist kein Defekt, sondern die Kehrseite des Prinzips, das auch die guten Antworten erzeugt.

Souverän falsch vorgetragen

Das eigentliche Risiko liegt dabei weniger im Fehler selbst. Es liegt im Tonfall. Eine klar als Vermutung gekennzeichnete Aussage wäre halb so schlimm. Serviert wird sie aber mit derselben Souveränität wie die sieben richtigen Punkte, und flüssige Sprache halten wir Menschen instinktiv für Kompetenz. Erkennen kann den falschen Punkt nur jemand, der sein Fach kennt. Deshalb bleibt die Prüfung Menschensache.

Dazu gehört eine Regel, die simpel klingt und selten befolgt wird: Was Sie an die KI abgeben, machen Sie zu einem Teil weiterhin selbst. Wer etwa jede zehnte Analyse noch von Hand erstellt, behält den Maßstab dafür, wie richtige Ergebnisse aussehen. Genau dieses Gespür schlägt an, wenn ein Punkt eine Spur zu überzeugend klingt.

Ihr Kunde biegt gerade falsch ab

Bis hierher war das ein Problem Ihres Betriebs. Es sitzt aber längst auch auf der anderen Seite des Beratungstisches. Kunden fragen KI heute selbst, vor dem Termin oder statt des Termins. Sie bekommen Antworten, die schlüssig klingen und in Sekunden da sind. Manche stimmen. Manche nicht. Wissen ist damit so zugänglich wie nie. Nur bedeutet Zugang noch keine Einordnung. Selbst eine richtige Antwort sagt nichts darüber, ob sie zur Lage und zum Vertrag des Kunden passt. Der Kunde kann beides kaum erkennen, genau darin liegt die Tücke. Er biegt falsch ab und fühlt sich dabei gut geführt.

Entwertet wird die Beratung dadurch nicht, sie bekommt einen Auftrag dazu. Wer künftig berät, korrigiert auch Wege, die der Kunde längst eingeschlagen hat. Das verlangt Fingerspitzengefühl, denn niemand hört gern, dass seine sorgfältig recherchierte Antwort erfunden war. Aber selten war der Unterschied so sichtbar: Die KI liefert Antworten. Sie kennen den Kunden, seinen Vertrag und seine Situation.

KI liebt Sie nicht. Sie will gefallen. Und wer gefallen will, sagt ungern: Ich weiß es nicht.

Über den Autor

René Jansen ist Gesellschafter und Geschäftsführer der Insuracon GmbH und seit über 30 Jahren in der Finanz- und Versicherungswirtschaft tätig, vom Vertrieb bis zur Produktentwicklung. Insuracon begleitet Vermittler, Maklerpools und Versicherer dabei, KI so in die eigenen Arbeitsprozesse einzubinden, dass die ethische Verantwortung und die Beziehung zum Kunden beim Menschen bleiben.

Transparenzhinweis: Der Autor hat diesen Beitrag mit KI-Unterstützung erstellt.

Quelle: McGowan, A. et al. (2023): „ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search“, Psychiatry Research, Bd. 326.

Mehr zum Thema

Warum KI-Antworten schwanken – und wie man das abstellt

„KI liebt mich. KI liebt mich nicht.“ Sie kennen das Spiel aus Kindertagen. Blütenblatt für…

„Die KI liest ein 40-seitiges Bedingungswerk in unter einer Minute“

Pfefferminzia: Marc, wie sah dein Arbeitsalltag bei der Bedingungsprüfung aus, bevor du Afori mit der…

Was ChatGPT, Claude und Co. im Versicherungsvertrieb leisten

Künstliche Intelligenz (KI) ist im Versicherungsvertrieb längst mehr als ein Zukunftsthema. Kundinnen und Kunden nutzen…

Teilen:
Nicht verpassen!

Pfefferminzia.pro

Eine Plattform, die liefert: aktuelle Informationen, praktische Services und einen einzigartigen Content-Creator für Ihre Kundenkommunikation. Alles, was Ihren Vertriebsalltag leichter macht. Mit nur einem Login.

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert