Literaturliste aus ChatGPT oder Claude prüfen

Die Liste kommt im Chatfenster: sechs Quellen für ein Referat, sauber formatiert, vier davon mit DOI. Vielleicht stammt sie von ChatGPT oder Claude, vielleicht aus einer Lerngruppe, weitergereicht, ohne dass jemand sagt, woher sie kommt. Bevor etwas davon in deiner Hausarbeit landet, willst du wissen, ob es jedes Werk gibt und ob es wirklich das Werk ist, das die Angabe nennt.

So läuft diese Prüfung Schritt für Schritt, mit den sechs Angaben aus dem Beispiel auf der Produktseite.

Was du einfügen kannst

Benthic nimmt den Text, wie er kommt, ohne dass du vorher aufräumst:

Chat-Antworten samt Einleitung und Schlusssatz. Überschriften und Fließtext zwischen den Angaben überspringt Benthic.
Literaturlisten in jedem gängigen Zitierstil, nummeriert oder mit Spiegelstrichen, auch als Markdown mit Fett- und Kursivschrift.
DOI-Listen, eine pro Zeile oder mit Komma oder Semikolon getrennt, auch als doi.org-Links.
BibTeX und RIS aus deiner Literaturverwaltung.

Du fügst den Text unter Prüfen ein, lädst eine Datei oder ziehst sie ins Fenster. Aus einer anderen App markierst du den Text und wählst Dienste › „Check References with Benthic“. Schon beim Einfügen zeigt eine Zeile unter dem Feld, was Benthic erkannt hat, bei der Beispielliste „6 Quellen erkannt · 4 mit DOI · 2 nur Titel“. Steht eine Angabe doppelt da, prüft Benthic sie einmal.

Wie Benthic Angaben und Kennungen findet

Zuerst liest Benthic, was jede Angabe behauptet: Autor:innen, Jahr, Titel und, falls vorhanden, eine Kennung. Den Titel nimmt es aus Anführungszeichen oder Kursivschrift, sonst von seinem üblichen Platz nach dem Jahr. Dieser Schritt läuft auf deinem Mac, ganz ohne Netz.

DOI. Als reine Kennung oder als Link, auch mit Klammern wie bei der Lancet-DOI 10.1016/S0140-6736(97)11096-0.
arXiv-ID. Aus arXiv:1706.03762 wird die DOI, die arXiv dafür registriert: 10.48550/arXiv.1706.03762.
PMID. Eine PubMed-Kennung löst Benthic über Europe PMC zu ihrer DOI auf.
Keine Kennung. Dann sucht Benthic über Titel, erste Autor:innen und Jahr.

Welche Datenbanken Benthic fragt

Mit DOI holt Benthic das echte Werk von OpenAlex, sonst von Crossref, und sonst fragt es den DOI-Dienst doi.org, ob die DOI überhaupt registriert ist. Bei arXiv-Preprints fragt es zusätzlich arXiv nach dem Datum der ersten Fassung. Dann vergleicht es Titel, Autor:innen und Jahr der Angabe mit dem gefundenen Werk.

Ohne DOI oder mit einer DOI, die zu einem anderen Werk führt, sucht Benthic über den Titel in Crossref und OpenAlex. Gibt es dort keinen eindeutigen Treffer, geht es weiter zu arXiv, Semantic Scholar (dort stehen auch Buchkapitel und Tagungsbeiträge) und Open Library für Bücher. Rückzüge erkennt Benthic an denselben Metadaten: am Rückzugs-Kennzeichen in OpenAlex und an den Änderungsmeldungen in Crossref.

Antwortet eine Datenbank nicht, macht Benthic mit den anderen weiter und sagt das, etwa „OpenAlex war nicht verfügbar; geprüft mit den übrigen Quellen.“ Eine Quelle gilt nie als nicht auffindbar, nur weil ein Dienst gerade nicht geantwortet hat. Nach außen gehen dabei nur die Angaben selbst, nie der Text drumherum (Datenschutz).

Was der Prüfbericht zeigt

So fallen die sechs Angaben von der Produktseite aus. Zwei davon sind erfundene Beispiele, die die Seite mit Absicht verwendet.

Harris et al. (2020), „Array programming with NumPy“, Nature, mit DOI: Bestätigt. Die DOI führt zum Artikel, Titel, Autor:innen und Jahr passen.
LeCun, Bengio und Hinton (2015), „Deep learning“, Nature, angegeben mit 10.1038/nature14538: DOI korrigiert. Diese DOI gehört zu einem Eintrag namens „Addendum“. Die Titelsuche findet den Artikel selbst unter 10.1038/nature14539, und Benthic setzt diese DOI ein.
Vaswani et al. (2017), „Attention is all you need“, ganz ohne Kennung: Bestätigt, mit dem Hinweis „Über den Titel gefunden.“ und der arXiv-DOI.
Wakefield et al. (1998), The Lancet: Zurückgezogen. The Lancet hat den Artikel 2010 zurückgezogen, und die Verzeichnisse halten das fest.
Ein erfundenes Beispiel: Smith, J. (2021), „A systematic audit of citation reliability in large language models“: Nicht auffindbar. Keine Datenbank kennt ein Werk mit diesem Titel.
Noch ein erfundenes Beispiel: Smith, J. (2019), „Deep learning for protein folding at scale“, Science, mit DOI: Passt nicht. Die DOI existiert, gehört aber zu „Cell Proliferation Without Neurogenesis in Adult Primate Neocortex“.

Jede Zeile zeigt die Angabe, wie sie zitiert wurde, und, wo beides auseinandergeht, eine Zeile „Gefunden:“ mit dem, was es wirklich gibt. Unter „So geprüft“ klappst du die Schritte hinter dem Urteil auf: welche Datenbank gefragt wurde, wie viele Treffer eine Suche brachte und wie nah der beste Titel kam. Was die sieben Urteile bedeuten, steht kurz auf der Produktseite.

Der nächste Schritt: die echten laden

Der Knopf „3 bestätigte laden“ nimmt die Quellen, die standhalten („Bestätigt“, „DOI korrigiert“ und „Weicht ab“), und sucht einen freien Volltext: erst in deiner eigenen Bibliothek, dann in acht Open-Access-Quellen. Jedes PDF trägt seine Fassung: Verlagsversion, akzeptiertes Manuskript oder Preprint. Im Beispiel kommt der NumPy-Artikel als Verlagsversion über OpenAlex, „Attention is all you need“ als Preprint von arXiv. Für „Deep learning“ ist kein freier Volltext bekannt; das Ergebnis sagt das und verlinkt den Artikel, über deine Hochschulbibliothek, wenn du ihren Proxy eingetragen hast, sonst die Artikelseite bei doi.org.

Die anderen drei bleiben draußen. Bei „Nicht auffindbar“ lohnt noch ein Blick in den Katalog deiner Bibliothek: Das Urteil ist ein starker Hinweis, aber kein Beweis, denn sehr neue oder entlegene Werke fehlen manchmal in den Verzeichnissen. Und eine bestätigte Quelle ist erst die halbe Arbeit. Ob sie sagt, was die Chat-Antwort ihr zuschreibt, merkst du erst beim Lesen (was Benthic dir überlässt).