Warum KI Quellen erfindet und wie du sie erkennst

Du bittest einen Chatbot um Literatur zu deinem Thema und bekommst fünf saubere Angaben. Bei einer kommt dir der Name in der Autorenzeile bekannt vor, die Zeitschrift passt, Jahr und DOI stehen da. Du suchst den Titel und findest nichts. Die Zeitschrift gibt es, die Person gibt es, den Artikel nicht.

Das ist kein Ausrutscher bei einer sonst verlässlichen Suche. Ein Sprachmodell schlägt Literatur für sich genommen nicht nach. Es schreibt sie.

Eine Literaturangabe ist ein Muster

Ein Sprachmodell erzeugt Text, der wahrscheinlich auf das Vorherige folgt. Literaturangaben sind eine besonders regelmäßige Textsorte: Nachnamen mit Initialen, ein Jahr in Klammern, ein Titel, eine Zeitschrift, Band und Seiten, eine DOI, die mit 10. beginnt. Ein Modell hat sehr viele davon gesehen. Es kann also eine Angabe schreiben, die jede Regel des Musters erfüllt und trotzdem zu keinem echten Artikel gehört. Bhattacharyya und Kolleg:innen sagen es so: Ein Modell sagt das nächste Wort anhand statistischer Muster aus dem Training voraus und kann deshalb nicht zwischen richtiger und falscher Information unterscheiden.

Walters und Wilder ergänzen etwas. Nach ihrer Erfahrung scheint das Modell Literaturangaben manchmal zu kopieren, statt sie umzuformulieren. Erfundene Angaben könnten also daher rühren, dass es nicht erkennt, welche Teile eines Textes bibliografische Daten sind, die genau wiedergegeben werden müssen. Ein Titelwort, das durch ein Synonym ersetzt wurde, liest sich gut und taugt dann nicht mehr, um den Artikel zu finden.

Was zwei Studien 2023 gefunden haben

Walters und Wilder (2023) ließen ChatGPT im April 2023 84 kurze Literaturüberblicke zu 42 Themen schreiben, je zur Hälfte mit GPT-3.5 und mit GPT-4, und prüften alle 636 Angaben (Scientific Reports). Erfunden waren 55 % der Angaben von GPT-3.5 und 18 % der Angaben von GPT-4. Von den echten hatten 43 % (GPT-3.5) und 24 % (GPT-4) inhaltliche Fehler, am häufigsten bei den Zahlen: Band, Heft, Seiten und Jahr. Am schlechtesten schnitten Buchkapitel ab. Selbst bei GPT-4 waren 70 % der zitierten Kapitel erfunden, und viele erfundene Kapitel nennen, so die Autor:innen, Bücher, die es ebenfalls nicht gibt.
Bhattacharyya et al. (2023) ließen ChatGPT mit GPT-3.5 im April 2023 30 kurze medizinische Texte mit zusammen 115 Angaben schreiben (Cureus). 47 % waren erfunden, 46 % echt, aber fehlerhaft, und nur 7 % echt und korrekt. Der häufigste Fehler war eine falsche PMID, gefolgt von Band, Seitenzahlen und Jahr.

Beide Studien haben die ChatGPT-Modelle vom Frühjahr 2023 getestet. Über die Modelle, die du heute nutzt, sagen ihre Zahlen nichts Genaues. Die Fehlerarten, die sie beschreiben, sind aber genau die, nach denen es sich zu suchen lohnt, und beide zeigen auf dieselbe Schwachstelle: Zahlen und Kennungen.

Fünf Arten, wie eine Angabe danebenliegt, und wie du sie erkennst

Erfunden. Das Werk gibt es nicht. Von Hand: den genauen Titel in Anführungszeichen im Bibliothekskatalog oder bei Google Scholar suchen und das genannte Heft der Zeitschrift durchsehen. In Benthic: „Nicht auffindbar“, wenn weder die Kennung noch eine Titelsuche in fünf Verzeichnissen weiterführt. Das Beispiel der Website dafür ist Smith, J. (2021), „A systematic audit of citation reliability in large language models“, eine erfundene Angabe.
Echter Titel, falsche Autor:innen oder falsches Jahr. Von Hand: mit der Verlagsseite vergleichen. In Benthic: „Weicht ab“, mit einem Hinweis, was abweicht.
Echte DOI an einem anderen Artikel. Von Hand: den DOI-Link öffnen und lesen, welcher Titel erscheint. In Benthic: „Passt nicht“, oder „DOI korrigiert“, wenn es den zitierten Artikel unter einer anderen DOI gibt. „Deep learning“ von LeCun, Bengio und Hinton (2015) ist das Beispiel der Website für den zweiten Fall.
Echt, aber zurückgezogen. Von Hand: auf der Verlagsseite nach einer Rückzugsmeldung suchen. In Benthic: „Zurückgezogen“, aus den Metadaten von OpenAlex und Crossref, das seit Januar 2025 auch die Datenbank von Retraction Watch führt. Wakefield et al. (1998) in The Lancet ist so ein Fall.
Echt, aber es steht nicht drin, was behauptet wird. Von Hand: die Stelle lesen. Benthic beurteilt das nicht. Es zeigt dir die Passagen im Volltext, die deinem Satz am nächsten kommen, mit Seitenzahl, und prüft wörtliche Zitate Wort für Wort. Ob die Quelle deine Aussage trägt, entscheidest du.

Eine Routine, die hält

Behandle jede erzeugte Angabe als Hinweis, nicht als Quelle. Prüf sie, bevor du sie liest, und lies sie, bevor du sie zitierst. Das Modell selbst zu fragen, ob seine Angaben echt sind, ist keine Prüfung: Walters und Wilder halten fest, dass ChatGPT diese Frage oft falsch beantwortet, Bhattacharyya et al., dass es dazu neigt, bei seinen Fehlern zu bleiben.

Für die Prüfung fügst du die Antwort in Benthic ein. Wie das geht, zeigt der Beitrag Literaturliste aus ChatGPT oder Claude prüfen, und der Beitrag über die sieben Urteile erklärt, was jedes Ergebnis bedeutet und was du damit tust. Ist dein KI-Assistent über MCP mit Benthic verbunden, prüft er seine Quellen damit selbst.