脳活動から見ている映像を復元する技術を開発

シンガポール国立大学と香港中文大学に所属する研究者らが発表した論文「Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity」は、脳活動から見ている映像を復元する手法を提案した研究報告です。磁気共鳴機能画像法（fMRI）で取得した脳活動から高品質な動画を再構成します。

脳活動からユーザーが見ている画像を復元する手法は、これまでにもいくつか報告されてきた。例えば、阪大などが発表した、画像を見せた際のfMRI信号から潜在拡散モデルで画像を生成する手法である。一方で、見ている動画を脳活動から復元する手法は限定的である。

今回は、fMRIで取得した脳活動から見ている映像を再構築する学習モデルを提案する。

このモデルは、fMRIエンコーダーと映像生成モデルの2つのモジュールで構成する。2つのモジュールは別々に学習した後、一緒に微調整される。そのため、どちらか一方がより優れたアーキテクチャを持つ場合、新しいモデルを容易に適応可能という。

fMRIは全脳の活動をBOLD信号で捉える。ここでは視覚刺激時に活性化するBOLD信号に注目する。まず大規模な教師なし学習とマスクされた脳のモデリングを活用して、視覚的なfMRIの特徴を学習する。
脳活動から見ている映像を復元する技術「Mind-Video」　シンガポールと香港の研究者らが開発

この手法はまだ参加者内レベルのものであり、参加者間の汎化能力は個人差があるため未解明とのこと。
また、この手法は大脳皮質の10％以下のBOLD信号しか再構成に使用しておらず、全脳データを使用した再構成は未開拓です。