映画を見る脳は、視線が跳ぶたびに「意味」の変化だけに反応していた。人とサルで同じ信号が見つかった

スポンサーリンク
スポンサーリンク

この記事には広告(Amazon アソシエイトのリンク)を含みます。

映画を見ているとき、目は画面の上を1秒に何度も跳び回っている。そのたびに脳は、いま目に入ったものが、直前に見ていたものと「意味として」どれだけ違うかに反応しているらしい。色や形の変化には反応せず、意味の変化だけに反応していた。ニューヨーク市立大学の Vinay Raghavan さんらのチームが、映画を見る人と、アニメ映画『怪盗グルーの月泥棒』(ミニオンズが登場する作品)などを見るアカゲザルの脳活動を調べ、学術誌 Journal of Neuroscience に発表した。

景色は「止まった目」で少しずつ拾う

私たちは景色を一度にまるごと見ているように感じるが、実際には目を細かく動かしている。視線がある1点に止まる「固視」と、次の点へ素早く跳ぶ「サッカード」をくり返し、くっきり見える視野の中心(中心視)で少しずつ情報を拾っている。

視線が止まるたびに、脳には小さな反応が起きる。固視に合わせて現れる脳の電気活動で、「固視関連電位」と呼ばれる。明るさや色、線の向きのような単純な情報を、固視のたびにつなぎ合わせていることは、以前から分かっていた。分かっていなかったのは、もっと上の段階、つまり「何が写っているか」という意味を、脳が固視から固視へどうつないでいるのかだった。

映画を見る人とサルの脳を記録する

チームは、ふだん通りに映画を見てもらいながら脳活動と目の動きを記録した。データは大きく3種類ある。頭皮に電極をつけて脳波(EEG)を測りながら、長編映画を丸ごと見た人たちのデータで、サッカードは合わせて340万回にのぼる。治療のために頭の中に電極を入れていた患者さんたちの、頭の中の電極から直接とった記録が9万回分。そして、頭の中に電極を入れた2頭のアカゲザルの記録が3万3,000回分だ。

暗い部屋で脳波の電極キャップをつけて映画を見る人(想像図)

人のデータでは、コメディやドラマなどの一般の映画を見てもらった。サルと患者さんのデータでは、『怪盗グルーの月泥棒』の10分間のクリップ(英語版とハンガリー語版)や、短編アニメ、サルが出てくるドキュメンタリー番組の短いクリップを使った。

目が拾ったものの「新しさ」を、AI で測る

難しいのは、「意味がどれだけ変わったか」をどう数えるかだ。チームは、画像を見分けるように訓練されたディープラーニングのネットワークを物差しにした。こうしたネットワークは、入り口に近い層ほど明るさや線のような単純な特徴を、奥の層ほど「顔」「犬」「車」のような意味に近い特徴を表す。

固視のたびに、視線の先の小さな範囲の画像をネットワークに通し、直前の固視と比べてどれだけ変わったかを、浅い層・中くらいの層・深い層のそれぞれで計算した。浅い層の変化は見た目の新しさ、深い層の変化は意味の新しさにあたる。

反応したのは、意味の変化だけだった

結果ははっきりしていた。固視関連電位を変えたのは、意味の新しさだけだった。見た目の単純な変化や、中くらいの段階の変化では、脳の反応は変わらなかった。たとえば視線の先が、直前と同じ人の顔のままか、まったく別のものに移ったかで、反応が変わるということだ。

薄暗い部屋で明るい画面を見つめるアカゲザル(想像図)

頭の中から直接とった記録では、場面の中身に応じて働く視覚の領域(物の形や意味を見分ける脳の下側の経路)と、おでこの側の前頭葉で、意味の新しさに合わせて速い電気活動が強まった。人でもサルでも同じだった。反応は静止画より動画のほうが強く、前頭葉の反応は視覚の領域とほぼ同時に早く現れた。チームはこれを、「次に何が見えるか」という予測のような、上からの働きかけが関わっている印と見ている。

チームの言葉を借りれば、ものを見ることは、ばらばらのスナップ写真を集めることではなく、続けて見た中心視の中身を意味の段階で比べ続ける、途切れない作業だということになる。脳は、跳び回る視線の一回一回で「さっきと何が違うか」を確かめながら、場面の理解を組み立てている。

人とサルに共通するもの

人とアカゲザルで同じ信号が見つかったことから、この仕組みは霊長類に共通するものだと考えられる。研究は、生きものの視覚と人工知能の画像認識をつなぐ見方を示した、ともチームは書いている。

この研究を紹介した 404 Media の記事は、サルがミニオンズをどう受け止めたのかは永遠に分からない、と結んでいる。少なくとも脳の記録からは、場面の意味が変わるたびに、人と同じように反応していたことが分かる。

関連する商品

この記事に関連する本や商品は、Amazon で探せます。

上のリンクから購入されると、このブログに紹介料が入ることがあります。

画像について

この記事の画像は AI(ChatGPT)で作った想像図で、ご自由にお使いいただけます。お使いになるときは、出典としてこの記事へのリンクを載せていただけるとうれしいです。

出典

スポンサーリンク
スポンサーリンク
人体・脳
ひろゆらをフォローする

コメント

タイトルとURLをコピーしました