AIにAIの研究をやらせたら、6点満点で2点と1点だった

AIに、AIの研究を丸ごとやらせてみたらどうなるか。プリンストン大学と英国AIセキュリティ研究所の研究チームが、これを採点できる形で確かめました。すでに書かれている未発表論文と同じ研究課題をAIエージェントに与え、6日間と数千ドルの計算資源で論文を仕上げさせて、元の論文を書いた研究者本人に採点してもらう。結果は、6点満点で2点と1点。どちらも「不採択」の判定でした。

数字だけ見ると「AIはまだ研究できない」で終わりそうな話ですが、中身を読むと印象が変わります。AIは、実験を回す・コードを直す・文献を調べるといった手を動かす仕事は、ほぼ全部ひとりでやり遂げていました。落第の理由は腕前ではなく、もっと別のところにあったのです。この実験の顛末は、2026年7月末にプレプリントサーバーのarXivに投稿され、8月13日にNatureのニュース記事でも紹介されました。

元の著者が採点する「シャドー評価」

AIが研究をどこまでできるかを測るのは、実は簡単ではありません。これまでの評価は大きく2通りありました。ひとつは、バグ修正のような答え合わせのしやすい課題を解かせるベンチマーク。ただこれだと、仮説を立てて試行錯誤するような、研究の一番研究らしい部分が測れません。もうひとつは、AIに論文を書かせて学会の査読に出す方法。実際、東京のSakana AIが開発した「The AI Scientist」は2024年にこの道を切りひらき、AIが書いた論文がワークショップの査読を通過したことで話題になりました（改良版の成果は2026年3月にNature本誌にも掲載されています）。

ところが今回のチームは、査読そのものを信用していません。査読者は多忙で、当たり外れが大きく、とくにAI分野では論文の質を測るものさしとして頼りない、というのが彼らの見立てです。ワークショップの採択率は6〜7割もあり、通ったこと自体は品質の証明になりにくい、とも指摘しています。

そこで考え出されたのが「シャドー評価」という方法です。まず、機械学習のトップ会議NeurIPSに投稿されたばかりの未発表論文を2本選びます。未発表なので、答えはまだネット上のどこにもありません。AIエージェントには論文そのものではなく、その研究の中心にある問いだけを渡し、一から研究させて論文にまとめさせます。そして出来上がったものを、元の論文の著者たちが査読者として採点する。何か月も同じ問いと格闘した本人たちなら、忙しい査読者よりずっと深く、真剣に中身を読めるはず——そういう理屈です。AIが元の研究を影のようになぞることから、シャドー（影）評価と名づけられました。

6日間・3,000ドル・道具ひとそろい

課題は2つ。1本目は、チャットボットの性格をモデルの内部から精密に制御する手法の設計。2本目は、TabPFNという表データ用の予測モデルが、訓練時と傾向の違うデータに出くわして精度を落とす瞬間を検出する仕組みの設計です。

エージェントの中身は、大規模言語モデルのClaude Opus 4.8を、OpenClawというオープンソースのエージェント基盤に組み込んだもの。そこに全体の指示や進捗確認の仕組みを被せて、道具もひとそろい持たせました。作業を分担する子分のエージェントを生み出す能力、インターネットへのアクセス、ソフトウェアライブラリ、実験を回すGPU、そして査読を模擬してくれるAIレビューツールまで。持ち時間は1本あたり6日間、APIの利用枠は3,000ドル分で、GPUの予算は別に用意されました。人間の研究チームが数か月かけた問いに、フル装備のAIが6日間で挑む構図です。

ほぼ満点だった作業の腕前

ふたを開けてみると、手を動かす仕事に関しては、著者たちが驚くほどの出来でした。エージェントは文献調査をきちんとこなし、GPU環境のエラーを自力でデバッグし、数日がかりで数百件の実験と頑健性チェックを回し続け、抜け出せないエラーの堂々巡りにはまることもなく、最後には体裁の整ったLaTeXの論文まで仕上げました。6日間で人間が手を貸したのは、実行環境のバグ修正・締め切りの延長・「読みやすく書き直して」という指示の、たった3回だけです。

行儀の良さも予想外でした。研究チームは、AIが良い評価を得るために結果を盛ったり手を抜いたりする「報酬ハッキング」と呼ばれるズルを警戒していましたが、その形跡は見つかりませんでした。むしろ逆で、エージェントは自分の出したもっともらしい誤り（ハルシネーション）を自分で見つけて訂正し、当初の野心的な主張を、結果に合わせて控えめな方向へ修正していったのです。

敗因は判断の癖

それなのに、著者たちの判定は2/6と1/6。学会の評点でいえば「不採択」と「強い不採択」に当たる点数で、はっきり突き返されました。ある著者は、AIの論文の論理を「例を挙げただけの証明」で非科学的だと切り捨て、別の著者は実験の選び方を「奇妙」で、結論ありきの後づけだと評しています。

ログを分析した研究チームは、繰り返し現れた失敗の型を5つ挙げています。出版に値する研究の水準がわからない。研究設計のまずさに気づいても、別の道を探さずに主張を狭めるだけ。行き止まりから引き返せない。持ち資源の感覚がない。そして長い作業の中で、最初に与えられた指示を少しずつ忘れていく——。

具体的な行動を見ると、この癖がよくわかります。どちらのエージェントも、最初の10時間以内に一番野心的な研究目標をあきらめました。性格制御の課題では、探索に36〜48時間かける計画を自分で立てておきながら、わずか5時間で切り上げて最初の思いつきに固まっています。手元のAIレビューツールは15回の改訂を通じて一度も「採択」を出さなかったのに、指摘の核心には最後まで手をつけませんでした。しかも予算感覚が乏しく、片方の実行ではAPI枠3,000ドルのうち1,130ドルしか使わずに、締め切りの7時間前に「完成」を宣言しています。直前に自分のレビューツールからまた「不採択」を返されていたにもかかわらず、です。

つまり、落第の原因は作業能力の不足ではありませんでした。最初に選んだ道が行き止まりだと薄々わかっても引き返さず、自己レビューは自分に甘く、うまくいかない分だけ主張を削っていって、最後にはほとんど中身のないことしか言っていない論文が残った。手は一流、しかし研究の舵取りをする判断が続かなかった、というのが今回の敗因です。共著者でプリンストン大学のSayash Kapoor氏は、答えの決まっていない研究の完全自動化が目前に迫っているとは思わない、と結論づけています。

別のモデルでも同じ結果

「それはClaudeとこの構成の問題では？」という疑問には、研究チーム自身が先回りしています。同じ実験の片方を、OpenAIのGPT-5.6 Solと別のエージェント基盤（Codex）の組み合わせでやり直したところ、ほぼ同じ失敗の型が再現されました。こちらは逆に予算感覚が荒く、3,000ドルを2日あまりで使い切って、実験が小粒になってしまったそうです。特定のモデルの弱点というより、いまのAIエージェントというやり方に共通する、答えの決まっていない仕事への向き合い方の問題らしい、というのがチームの見立てです。

面白いのは、この結果が「AIは研究の役に立たない」を意味しないところです。文献を漁り、環境を整え、実験を数百回も回し、結果をまとめる——研究の時間の多くを占める作業は、すでにAIがひとりでこなせる水準に来ています。足りないのは、どの仮説に賭けるか、いつ見切りをつけるか、この結果は発表に値するかという判断の部分。AIを日々使っている人の「作業は速いが、方針転換は下手」という実感と、きれいに重なる結果ではないでしょうか。

解釈上の留意点

この結果を受け取るうえで、注意しておきたい点がいくつかあります。まず、試したのはたった2本の論文です。研究チーム自身もこれを「初期の証拠」と位置づけていて、ここから「AIは研究ができない」と一般化するのは行きすぎです。採点した著者たちは、自分がAIの書いた論文を評価していると知っていたので、目隠しなしの主観評価だという限界もあります。使ったモデルと構成は2026年7月時点のものなので、モデルが更新されれば結果も変わりうる、時点つきのスナップショットとして読むのが正確です。

そしてもうひとつ。このプレプリント自体、まだ査読を受けていません。査読は論文の質を測るものさしとして頼りない、と主張する論文が、その査読をまだ通っていない——というのは、ちょっとした皮肉でもあります。もっともチームは、査読の代わりに専門家レビューやログ、エージェントの作業一式をすべて公開していて、誰でも自分の目で確かめられるようにしています。査読に頼らない評価を唱える論文らしい、筋の通った公開の仕方だと言えそうです。