「知能爆発」は1964年に書かれていた——I・J・グッドの超知能マシン論を読む

AI
スポンサーリンク

AIをめぐる議論でいちばん物騒な部分——賢い機械がもっと賢い機械を設計し、そこから先は人間の手を離れる——は、60年以上前の論文にすでに書かれています。しかも「知能爆発（intelligence explosion）」という、いまも使われているその言葉のまま。書いたのはI・J・グッド（Irving John Good）。ブレッチリー・パークでアラン・チューリングと一緒に暗号を解いていた、統計学者です。

原文はPDFで無料で読めるので、実際に当たってみました。読んでみると、当たっている部分と外している部分の分かれ方が、思っていたより極端でした。

論文と書き手の来歴

タイトルは「Speculations Concerning the First Ultraintelligent Machine（最初の超知能マシンについての考察）」。論文の末尾の注記によると、初稿は1963年4月、いま読める版は1964年5月に手を入れたもので、活字になったのは1965年、論文集『Advances in Computers』第6巻の31〜88ページです。「1965年の論文」として引用されることが多いのはこのためで、中身が書かれたのはその1〜2年前ということになります。

肩書きはオックスフォードのトリニティ・カレッジと、バークシャー州チルトンにあったアトラス計算機研究所。第二次大戦中はブレッチリー・パークでチューリングらと暗号解読に携わり、戦後もチューリングとベイズ統計や計算機の設計について仕事をした人です。のちにスタンリー・キューブリックに請われて『2001年宇宙の旅』の技術顧問も務めました。HAL 9000の背後に、この論文を書いた人がいたわけです。

冒頭に置かれた三段論法

論文は、いきなりこの一文から始まります。「人類が生き延びられるかどうかは、超知能マシンを早くつくれるかどうかにかかっている」。1964年に、これを学術論文の冒頭に置いている。

そのあとの議論は、驚くほど簡潔です。

まず、超知能マシンを「どんなに賢い人間であっても、あらゆる知的活動において遥かに凌駕してしまう機械」と定義する。次に、機械を設計することもまた知的活動のひとつだと指摘する。だとすれば、超知能マシンはもっと優れた機械を設計できるはずで、そこでは疑いなく「知能爆発」が起き、人間の知能ははるか後方に取り残される——。

定義を一つ置いて、そこに一つだけ観察を足すと、結論が転がり出てくる。この三段の運びが、いま「再帰的自己改善」と呼ばれている議論の骨格そのものです。60年経っても、論法の形が変わっていない。

「最後の発明」に付いた但し書き

ここからグッドは、よく引かれる一文に進みます。最初の超知能マシンは、人間がつくる必要のある最後の発明になる——ただし、と彼は続けます。その機械が、自分をどう制御し続ければいいのかを人間に教えてくれるくらい従順であるならば。

この但し書きが、実はこの論文でいちばん現代的な部分です。「最後の発明」だけが独り歩きしがちですが、グッドは同じ文の中で、それが無条件には成り立たないことを書き込んでいる。つまり彼は、能力の話と制御の話を最初から分けて考えていた。いまアラインメントと呼ばれている問題設定が、ほぼそのままの形でここにあります。

関連して、彼は当時のSFに出てくる「自分の職を失いたくないので、より優れた機械を設計するのを拒む機械」の話に触れています。そして、それは乗り越えられない障害ではないと切って捨てる。機械が新しい設備を取り込みながら、自分自身を少しずつ改造していけばいいのだから、と。機械が自己保存を気にしうるという発想と、それでも自己改良は進みうるという反論が、1ページのうちに両方書かれている。

倫理の話も出てきます。機械は痛みを感じうるのか。とりわけ化学的な人工ニューロンでできていたとしたら。古びた超知能マシンを解体してよいのか。そして、人類のほうが不要（redundant）になる可能性。いずれも段落一つぶんの短い言及ですが、論点はもう並んでいます。

現在に届いた予想

上の図の左側にあるような機械しかなかった時代に書かれた論文が、右側の世界について何をどこまで言い当てていたか。読み返すと、当たっている部分がいくつもあります。

グッドは、最初の超知能マシンは膨大な人工神経回路を積んだものになるだろうと考えていました。しかも「超並列（ultraparallel）」でなければ無理だろう、とも。ニューラルネットをGPUで大量に並列計算している現在の風景と、方向としては合っています。

言語についての予想も的確です。その機械は日常の言語を難なく扱えなければならない、翻訳もするだろうし、質の高い散文や詩を高速に生成することもあるだろう、と彼は書いています。学習のしかたについても、正と負の強化によって経験から学び、その教育は子どもの教育に似たものになるだろうと述べている。

個人的にいちばん面白かったのは、難所の見立てです。グッドは、赤ん坊が言葉と世界を結びつけていく能力のほうが、その後の高度な知的発達より遥かに驚くべきことだと言い、こう続けます。だとすれば、超知能マシンをつくる苦労の大半は、サル並みの知能を持つ機械をつくるところにあるだろう、と。1980年代にモラベックが定式化する「難しいことは簡単で、簡単なことが難しい」という逆説を、20年近く先に、ほとんど同じ形で言っています。

設計と規模の関係についても書いています。設計の巧みさは、資金と複雑さで買える。うまく設計された素子1億個の機械が超知能に育てられるとしたら、雑につくられた素子1018個の機械でも同じくらいのことができるかもしれない——という趣旨のことを、彼は1964年に書いている。丁寧な設計より規模を積むほうが勝つことがある、というのは、いまの機械学習が何度も学び直してきた教訓です。

ついでに、チェスの話も出てきます。グッドは、初期配置をランダムに入れ替えたチェスを研究に使うべきだと提案している。ふつうのチェスだと、機械は記憶した定跡の罠だけでグランドマスターに勝ってしまうことがあり、それは空虚な勝利だから、というのが理由です。ボビー・フィッシャーがフィッシャーランダムチェスを提唱するのは1990年代ですし、この「暗記で勝ってしまうから評価にならない」という問題意識は、いまのベンチマーク汚染の議論とそのまま重なります。

届かなかった予想

一方で、外し方も派手です。

時期については、はっきり早すぎました。1980年ごろには人と機械の緊密な協働が目覚ましい成果を挙げていて、そのころには大型計算機で毎秒10億パルス、つまり1GHzのクロックが「確実に」達成されているだろう、と彼は書いています。実際にPC向けCPUが1GHzに届いたのは2000年ごろ。20年ほどのずれです。

ただ、いちばん大きなずれは速度ではなく、前提のほうにあります。グッドは論文の2文目でこう書いている。超知能マシンを設計するには、人間の脳か人間の思考か、あるいはその両方について、もっと理解する必要がある——。

だから彼は、論文の大部分を脳の話に費やします。ヘッブの細胞集成体（cell assembly＝一つの概念に対応してまとまって発火するニューロンの集団）の理論を下敷きに、それを「サブアセンブリ」という考えで拡張し、記憶や意味が脳の中でどう物理的に担われているかを組み立てていく。58ページの論文のうち、知能爆発の話は最初の数ページで、残りはほぼこの理論です。

つまり彼にとって、超知能マシンへの道は脳の解明を経由するものでした。ところが実際に来たものは、その道を通っていない。いまの言語モデルは、脳の仕組みが分かったから作れたわけではなく、大量のテキストで学習させたニューラルネットの規模を上げていったら、こちらが予想していなかった振る舞いをするようになった、というものです。人間の思考の理解は、ほとんど進まないまま置き去りにされている。

彼が使っている数字にも、時代が出ています。大脳皮質のニューロンをおよそ50億個としているのですが、現在の推定は160億個ほど（脳全体では約860億個）。3倍ちがう。当時の計測技術ではそれが限界だったということでもあり、その数字を土台に「機械は超並列でなければならない」と結論しているあたり、前提が動いても結論のほうが生き残った、という妙な当たり方をしています。

著者自身の転回

グッドは2009年に亡くなりました。晩年の話がひとつ伝わっています。

助手だったレスリー・ペンドルトンによれば、グッドは1998年に書いた未公刊の自伝的な文章の中で、あの論文の冒頭の一文に触れ、「生存（survival）」は「絶滅（extinction）」に置き換えるべきだと思う、と書いたそうです。理由は、国際的な競争があるかぎり、機械が主導権を握るのを止められないから。そして、われわれはレミングのようなものだ、と。

「人類の生存は超知能マシンにかかっている」と書いた本人が、34年後に、同じ文の主語をひっくり返した。この転回は学術的な撤回ではなく、あくまで私的な文章の中の一節ですが、当たったか外れたかの採点表には収まらない重みがあります。

60年前の議論を今読む意味

この論文を読んで残るのは、「昔の人はすごかった」という感想ではありません。むしろ逆で、いまAIについて交わされている議論の主要な論点は、ほとんど新しくない、ということのほうです。知能爆発も、最後の発明も、制御可能性も、機械が痛みを感じうるかも、人間が不要になる可能性も、1964年の時点で一通り言葉になっている。

変わったのは論点ではなく、それが手元の話になったことです。そしてもうひとつ言えるのは、論点が古いことは、その論点が正しいことの証拠にも、間違っていることの証拠にもならない、ということ。60年前から言われていて60年間起きていない、という読み方もできれば、条件がようやく揃ってきた、という読み方もできる。どちらを取るにせよ、グッド自身が最初から但し書きを付けていたことは、覚えておく価値があると思います。

解釈上の留意点

いくつか、線を引いておきます。

「1964年の論文」という言い方は正確ではありません。初稿は1963年、手直しが1964年、刊行は1965年。学術的には1965年の文献として扱われます。

「知能爆発」という語をグッドが発明した、とまでは言えません。論文の該当箇所には先行文献への参照が付いていて、当時すでに何らかの形で議論されていたことがうかがえます。彼がやったのは、その考えに定義を与えて、短い論法の形に整えたことです。

1998年の転回については、出どころが助手による証言と、そこから引用された未公刊の文章です。本人が公の場で論文を撤回したという話ではありません。

そして、過去の予測を「当たった／外れた」で採点するのは、どこまで行っても後知恵です。1964年のグッドが知りようがなかったことは山ほどあります。この記事の後半は、その後知恵を承知のうえで読んでいます。

出典・もっと知りたい人へ

グッドの論文本体は、ペンシルベニア大学のサイトでPDFが公開されていて、誰でも読めます。英語ですが、知能爆発の議論が出てくるのは最初の数ページなので、そこだけなら短時間で読めます。

コメント

タイトルとURLをコピーしました