ある種のマインドリーディングが実現されたという論文とそのニュースについて

 (追記:タイトルが気に入らなかったので変えてみた。)


 fMRIを使ってある種のマインドリーディングが出来るようになった(被験者が何を見ているかを当てられた)という論文の話(前半)と、日本のマスメディアももうちょっとがんばってほしい、という話(後半)。


Identifying natural images from human brain activity.
Kay KN, Naselaris T, Prenger RJ, Gallant JL.
Nature. 2008 Mar 5 [Epub ahead of print]


 これまでの「マインドリーディング」的な研究は、最初にいくつかの状態(例:文字を読んでいる、絵を見ている、等)のときの fMRI 信号を記録し、そのデータをコンピュータに学習させておく*1ことで、あとで逆に fMRI 信号から今被験者が体験しているのはどの状態なのかを当てる、というものだった。しかしこれら従来のやり方の致命的な欠点は、どの状態かを当てられるのは既に記録を取った条件群の中からのみ、という制約があることだった。今回の研究が過去の研究をはるかに凌駕している点は、大脳視覚野のモデルをちゃんと作ることで、訓練用の刺激条件(たとえば写真A−Fを見ている)のときに得られた情報から、全く新規の刺激条件(これまで見せたことがない任意の写真G−Lを見ている。)のときの fMRI 信号を予測し、どれを見ているかをかなりの確率で当てることが出来た、という点。新規画像120枚の中から1枚を選ぶなら、ある被験者では92%の確率で当てることが出来た。計算上は、新規画像1千億枚の中から1枚を選ぶという条件でも、10%以上の確率が維持されることになる。(選択肢となる画像が十分多いなら、限りなく画像のデコーディングに近づいていくことになる。)


 どうやっているかというと、まず脳内の一次視覚野と呼ばれる領野では、個々の神経細胞は視覚入力に対するウェーブレット変換に相当する作業をやっていることが知られている。更に、似た情報をコードしている細胞(視野上で近い位置を見ている、近い傾きの情報をコードしている等)は脳内でも近い位置にあることも知られている。fMRIで得られる脳内各位置の信号(3次元的なボリュームがあるので pixel ではなく voxelという)はこれら神経細胞群の活動を局所的に足し合わせたものだと考えられるので、一次視覚野の各 voxel の信号は視野内のある位置や方位をコードしているウェーブレット係数の足し合わせでモデル化することが出来るだろうと推定できる。で、訓練用の刺激(1750枚の写真)を見せているときの fMRI 信号から各 voxel がどういうウェーブレットの足し合わせとしてモデル化できるかを求めておけば、そのモデルを用いることで任意の新規画像が提示された際の fMRI 信号がどういうものになるかを予測することが出来る。そうして得られた予測と実際の fMRI 信号を比較することで、被験者が今見ている画像がどれかを当てられるか試してみたら、ちゃんとできましたと。


 サイエンスとしてはそんなに新しい発見はないのだけど、mind reading 的な話として面白いので Nature に載ったと。あえてサイエンスとしての意味づけを足すなら、特に一次よりもう少し上位の視覚野について、デコードできる情報が何かを調べることでエンコードしている情報は何かを知る手がかりが得られる、あるいはエンコーダの理解の度合いを計るベンチマークとして使える、という点か(もちろん単純にエンコーディングモデルを調べるツールとしても使えなくはない。まあ所詮は voxel レベルなのであんまり細かいことは出来ないけれど)。


 ここから当然予測される次のステップとしては、じゃあ fMRI で得られた信号を逆ウェーブレット変換したら、何を見ているかを直接画像化できる? とか。あるいは一次視覚野は実際にものを見ているときだけでなく、そこにものがあるように頭の中で想像しているときにも活動することが知られている。また睡眠して夢を見ているときにも脳活動が計測できることも知られている。そこから考えられる可能性としては(以下自粛)。

3/10追記
 viking さんのところでもより詳細なレビューが公開されています。
 ヒトの脳活動からどんな光景を見ているかを同定する:劇的な成功率を記録したvoxelごとの受容野プロファイリングによるmind reading - 大「脳」洋航海記


4/5追記
 Shuzo さんのところにも関連記事が。
 ウソと脳とGoogle頼み - The Swingy Brain


 日本語で書かれたニュース: AFPBB NewsWired Vision

*1:SVMとか。