Wenn die KI sich irrt

Noch kommt keine KI ohne den kleinen Hinweis aus, dass sie Fehler machen kann. Für Redaktionen bedeutet das, dass sie die Antworten von verwendeten KI-Modellen über- prüfen müssen. Üblich ist, dass die Sprachmodelle auch Fußnoten einfügen und Quellen verlinken, um die generierten Antworten zu belegen. Aber es gibt noch andere Methoden, wie man die Antworten von KI-Modellen checken kann, zum Beispiel bei Gemini von Google und mit Second Opinion vom Bayerischen Rundfunk (BR).

Gemini googelt

Bewerten, Kopieren, Vorlesen: Buttons für solche Aktionen gibt es am  Ende von jeder KI-generierten Antwort. Wer bei Gemini, dem Sprachmodell von Google, auch den Button mit den drei Punkten für „mehr“ anklickt, findet dort die Option „Antwort überprüfen“. Damit wird eine Prüfung der Aussagen von Gemini begonnen, indem dazu Quellen per Google-Suche ermittelt werden. Nach dieser Prüfung sind einige Textstellen grün und rot markiert. Grün bedeutet, dass in der Google-Suche ähnliche Inhalte zur Aus- sage von Gemini gefunden wurden, und es wird ein Link angezeigt. Diese Quelle kann man auch als „hilfreich“ oder „nicht hilfreich“ bewerten. Zu beachten ist, dass der angezeigte Link nicht unbedingt für die generierte Antwort genutzt wurde, sondern dem Inhalt der Antwort ähnelt. Rot bedeutet, dass in der Google-Suche keine relevanten Inhalte gefun- den wurden. Folglich müssen Redaktionen diese Aussagen selbst überprüfen. Übrigens können für „Antwort überprüfen“ noch keine Tabellen oder Codes berücksichtigt werden.

Zur Frage „Wie funktioniert die Briefwahl in Deutschland?“ beispielsweise werden die meisten Aussagen mit Links zu Bundeswahl- leiterin.de und den offiziellen Wahlseiten von Städten und Ländern angezeigt. Nur für einen Satz werden keine passenden Inhalte gefunden.

Für einen nicht markierten Text gilt, dass entweder keine faktenbasierten Inhalte enthalten oder nicht genügend Informationen zum Bewerten vorhanden sind. Alle Erläuterungen zu „Antwort überprüfen“ findet man auch über den Link „Was bedeuten die Ergebnisse?“, der nach einer abgeschlossenen Prüfung unter der markierten Antwort erscheint.

KI checkt Zusammenfassungen

Second Opinion („zweite Meinung“) kann KI- generierte Zusammenfassungen von Texten mittels eines weiteren KI-Modells überprüfen. Es vergleicht den Originaltext und die KI-Zusammenfassung miteinander, um auf Abweichungen hinzuweisen, die farblich markiert werden.

Im Browser kann man eine Demo-Version von Second Opinion ausprobieren, wofür man einen Text oder Link mit mindestens 1.000 Zeichen einfügen und anschließend zusammenfassen lassen kann. Für die Demo wird ChatGPT-4o verwendet, und es werden absichtlich Unstimmigkeiten eingebaut, die ein weiteres KI-Modell erkennen soll. Mit „Second Opinion starten“ geht es los: Der Check färbt Textstellen entweder rot für Fehler und sogenannte Halluzinationen oder orange für ungenaue Formulierungen ein. Die markierten Stellen kann man anklicken, um sich die originalen Textstellen einblenden zu lassen.

Übrigens funktioniert Second Opinion mit deutschen und englischen Texten. Das Tool ist bei einem Hackathon des „AI for Media Network“ entstanden, das vom BR gegründet wurde. Redaktionen, die es nutzen wollen, können sich den Code bei GitHub herunterladen, der als Open Source verfügbar ist. Dann können sowohl für die Zusammenfassung als auch für die Überprüfung verschiedene KI- Modelle ausgewählt werden, die schon in ei- ner Redaktion verwendet werden.

Fazit

„Antwort überprüfen“ und Second Opinion gehen neue Wege, um KI-generierte Antworten zu checken. Trotzdem sind sie noch keine Faktenchecks, sie assistieren nur bei der Korrektur. Das hilft Redaktionen, indem Textstellen gekennzeichnet werden, für die Belege fehlen oder vorhanden sind. Diese Analyse der KI-Antworten reduziert falsche Aussagen und beschleunigt das Überprüfen.

Links:

Zu Gemini

Zu Second Opinion