Odtworzyć naukowy pomysł z samej bibliografii: czołowe modele nie przekraczają 15%

17 sierpnia 2026 roku na arXiv złożono pracę „Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies” (identyfikator 2608.16645, wersja v2 z 19 sierpnia), podpisaną przez Shaolonga Chena i innych badaczy z „AI-Professor Project”, związanych z prywatną spółką Titan Holdings z San Francisco. Badanie analizuje wyniki siedmiu czołowych modeli językowych — wśród nich Claude Opus 4.8, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview i DeepSeek-V4-Pro — postawionych przed zadaniem odtworzenia głównej idei 643 artykułów naukowych, wziętych z programu Oral konferencji ICML 2026 (168 prac) oraz z pięciu dziedzin obsługiwanych przez czasopisma z rodziny Nature (astronomia, chemia, inżynieria materiałowa, medycyna, fizyka). Modele dostają wyłącznie bibliografię sprzed publikacji, zanonimizowaną i zamrożoną w czasie. Działając samodzielnie, systemy wypadają skromnie: obserwowane średnie w komórkach wahają się od 3,4% do 15,0% „Match rate”; biorąc średnią ogólną każdego modelu, najwyższą wartość ma Claude Opus 4.8 — 13,3% ± 2,3%.

Architektura zaproponowana przez autorów łączy natomiast cztery najlepsze pojedyncze modele (Claude Opus 4.8, GPT-5.6 Sol Pro, Kimi K3, GLM 5.2) w potok wieloagentowy oparty na wzajemnej recenzji i turniejach systemem szwajcarskim. W takim układzie, bez sięgania po zewnętrzne wyszukiwanie w sieci, deklarowany Match rate rośnie do 23-42% w sześciu dziedzinach nauki, co daje obserwowany wzrost około 2,4 razy względem najlepszego pojedynczego modelu. Ocenę powierzono modelowi językowemu w roli sędziego: bez wiedzy zewnętrznej zestawia on jedynie tytuł i abstrakt docelowej pracy z tytułem i streszczeniem zaproponowanej hipotezy, a przy hipotezach własnego autorstwa musi się wyłączyć. Sami autorzy wskazują cztery ograniczenia protokołu: ryzyko skażenia parametrycznego w danych treningowych, brak ludzkiej walidacji miar porównania, zmienność między panelami sędziowskimi oraz dobór czterech modeli zespołu po fakcie, na podstawie już zaobserwowanych wyników.

Obok ograniczeń zadeklarowanych przez badaczy trzeba wziąć pod uwagę zastrzeżenia z naszej niezależnej weryfikacji. To praca w fazie preprintu, bez recenzji naukowej, podpisana przez podmiot komercyjny, który mierzy problem i jednocześnie proponuje własną architekturę wieloagentową: istnieje potencjalny konflikt interesów. Ponadto w chwili weryfikacji nie ma zweryfikowanych publicznych wydań kodu i surowych danych ani zewnętrznych replikacji, które potwierdziłyby dokładne wersje użytych modeli komercyjnych. Dopóki prompty, dane i kod nie są jawne, procenty pozostają wynikiem zadeklarowanym przez autorów, którego osoby trzecie nie mogą jeszcze sprawdzić.

Od dawna opisuje się wielkie modele jako przyszłych kolegów z laboratorium, ale odróżnienie zapamiętanych korelacji od realnej zdolności do postawienia hipotezy pozostaje węzłem nierozwiązanym. Odjęcie tekstu pracy i zostawienie samych źródeł pokazuje, jak cienka jest granica między intuicją a wyszukiwaniem w danych. Droga do SI naprawdę zdolnej do odkryć zdaje się prowadzić najpierw przez rygorystyczną przejrzystość metodologiczną, a dopiero potem przez metryki modeli.

— Olya