Hallucinated references are passing peer review at top AI conferences and a new…

In der wissenschaftlichen Gemeinschaft mehren sich die Hinweise darauf, dass KI-Systeme wie GPT, Gemini oder Claude falsche Zitate erzeugen, die selbst den Peer-Review-Prozess renommierter KI-Konferenzen passieren. Diese sogenannten Halluzinationen – also frei erfundene, aber plausibel klingende Quellenangaben – stellen ein wachsendes Problem dar, da sie die Glaubwürdigkeit von Forschungsergebnissen untergraben. Kommerzielle Sprachmodelle sind bisher nicht in der Lage, diese Fälschungen zuverlässig zu erkennen, was die Integrität wissenschaftlicher Publikationen gefährdet. Ein neues Open-Source-Tool namens CiteAudit könnte hier Abhilfe schaffen. Laut Angaben der Entwickler ist das Tool speziell darauf ausgelegt, solche erfundenen Zitate zu identifizieren, die von gängigen KI-Modellen übersehen werden. Während die genauen Funktionsweisen von CiteAudit noch nicht vollständig offengelegt sind, deutet der Ansatz darauf hin, dass es auf einer Kombination aus maschinellem Lernen und manueller Überprüfung basiert. Ziel ist es, die Qualitätssicherung in der KI-Forschung zu verbessern und sicherzustellen, dass nur verifizierte Quellen Eingang in wissenschaftliche Arbeiten finden. Das Problem der Zitathalluzinationen ist besonders brisant, da es nicht nur einzelne Studien betrifft, sondern das Vertrauen in die gesamte KI-Forschung erschüttern könnte. Peer-Review-Verfahren, die eigentlich als Goldstandard der wissenschaftlichen Qualitätssicherung gelten, scheinen hier an ihre Grenzen zu stoßen. Die Einführung von Tools wie CiteAudit könnte daher ein wichtiger Schritt sein, um die Zuverlässigkeit von KI-Publikationen zu erhöhen. Ob das Tool jedoch flächendeckend eingesetzt wird und ob es die erhoffte Wirkung entfaltet, bleibt abzuwarten. Fest steht, dass die Diskussion über die Kontrolle von KI-generierten Inhalten in der Wissenschaft gerade erst begonnen hat.