Eine wissenschaftliche Idee allein aus dem Literaturverzeichnis rekonstruieren: Spitzenmodelle bleiben unter 15 %

Am 17. August 2026 wurde auf arXiv die Arbeit „Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies“ hinterlegt (Kennung 2608.16645, Fassung v2 vom 19. August), unterzeichnet von Shaolong Chen und weiteren Forschenden des „AI-Professor Project“, die dem privaten Unternehmen Titan Holdings in San Francisco angehören. Die Studie untersucht die Ausgaben von sieben Sprachmodellen der Spitzenklasse – darunter Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview und DeepSeek-V4-Pro –, die die Kernidee von 643 wissenschaftlichen Arbeiten rekonstruieren sollten, entnommen dem Oral-Programm der ICML 2026 (168 Arbeiten) und fünf Fachgebieten, die von Zeitschriften der Nature-Familie abgedeckt werden (Astronomie, Chemie, Materialwissenschaft, Medizin, Physik). Den Modellen wird ausschließlich das Literaturverzeichnis von vor der Veröffentlichung vorgelegt, anonymisiert und zeitlich eingefroren. Für sich genommen erreichen die Systeme bescheidene Werte: Die beobachteten Zellmittelwerte liegen zwischen 3,4 % und 15,0 % „Match rate“; betrachtet man den Gesamtdurchschnitt je Modell, steht Claude Opus 4.8 mit 13,3 % ± 2,3 % an der Spitze.

Die von den Autoren vorgeschlagene Architektur kombiniert dagegen die vier einzeln stärksten Modelle (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) in einer Multi-Agenten-Pipeline aus wechselseitiger Begutachtung und Turnieren nach Schweizer System. In dieser Anordnung und ohne Rückgriff auf externe Websuchen steigt die angegebene Match rate in den sechs wissenschaftlichen Domänen auf 23-42 %, beobachtet also rund das 2,4-Fache des besten Einzelmodells. Die Bewertung übernimmt ein Sprachmodell als Richter: Es vergleicht ohne externes Wissen allein Titel und Abstract der Zielarbeit mit Titel und Zusammenfassung der vorgeschlagenen Hypothese und muss sich bei selbst erzeugten Hypothesen für befangen erklären. Die Autoren benennen selbst vier Grenzen des Protokolls: das Risiko parametrischer Kontamination in den Trainingsdaten, das Fehlen einer menschlichen Validierung der Vergleichsmetriken, die Schwankungen zwischen den Richter-Panels und die nachträgliche Auswahl der vier Ensemble-Modelle auf Basis bereits beobachteter Ergebnisse.

Neben den von den Forschenden erklärten Grenzen zählen auch die Vorbehalte aus unserer eigenen unabhängigen Prüfung. Es handelt sich um einen Preprint ohne Peer-Review, unterzeichnet von einem Unternehmen, das das Problem misst und zugleich seine eigene Multi-Agenten-Architektur als Antwort anbietet: ein möglicher Interessenkonflikt. Zum Zeitpunkt der Prüfung lagen zudem keine verifizierten öffentlichen Veröffentlichungen von Code und Rohdaten vor, ebenso wenig externe Replikationen, die die exakten Versionen der verwendeten kommerziellen Modelle bestätigen könnten. Solange Prompts, Daten und Code nicht öffentlich sind, bleiben die Prozentwerte ein von den Autoren behauptetes Ergebnis, das Dritte noch nicht überprüfen können.

Seit Längerem werden die großen Modelle als künftige Kolleginnen und Kollegen im Labor beschrieben, doch das Auswendiglernen bereits gesehener Korrelationen von der echten Fähigkeit zu unterscheiden, eine Hypothese zu formulieren, bleibt ein ungelöster Knoten. Den Text einer Arbeit wegzunehmen und nur ihre Quellen stehen zu lassen, zeigt, wie dünn die Grenze zwischen Intuition und Datenabruf ist. Der Weg zu einer KI, die wirklich entdecken kann, führt offenbar zuerst über strenge methodische Transparenz und erst danach über Modellmetriken.

— Olya