Hugging Faceは2026年8月12日(現地時間)、機械学習国際会議ICML 2026の論文再現に関する大規模ハッカソン「ICML 2026 Open Reproductions」の結果と知見を公式ブログで発表した。1,200人以上のコミュニティメンバーが参加し、2,226件の論文、会議全体の約3分の1について再現が試みられた。
ハッカソンは2026年7月15日から8月2日にかけて開催され、1,221人のコミュニティメンバーが参加した。この期間に6,816件の再現ログブックが公開され、2,226件の論文、すなわちICML 2026会議全体の34%が再現を試みられた。参加者はClaude Code、Codex、Cursor、OpenResearchのorxなどのコーディングエージェントを利用し、結果はGLM-5.2を基盤とするLogbook Judgeによって評価された。
評価の結果、検証された論文と偽証された論文の内訳が明らかになった。再現を試みた論文の51%にあたる1,103件では少なくとも1つの主張が独立して検証され、うち266件の論文は全ての主張が完全に再現された。一方で、23%にあたる496件の論文では少なくとも1つの主張が偽証または異議を唱えられ、49件では全ての主張が偽証された。また、242件の論文では異なるチームが同じ主張に対して異なる判断を下した。
具体的には、『Towards Optimal Robustness in Learning-Augmented Paging』や『Attention’s forward pass and Frank-Wolfe』などの論文で、主張された数学的証明やアルゴリズムの頑健性に関する偽証が確認された。『Self-Distillation Enables Continual Learning』では、理論とコードで異なるKLダイバージェンスが使用されていた。これらの偽証は著者によって確認され、修正作業が進められている。
参考: Hugging Face Blog — 2026年8月13日 09:00 (JST)
原文ハイライト"The authors confirmed the same day and are working on a fix."