teamLab Forestがスマホで動物を捕獲、現地展示と端末を双方向に連動

teamLabは2020年9月17日、個人のスマートフォン操作と展示空間を相互に反映させる技術「IR（Interconnected Reality）」の提供を発表した。福岡の常設館「teamLab Forest 福岡 - SBI証券」にある作品「捕まえて集める森」で、専用アプリを通じて体験できた。

会場は福岡PayPayドームに隣接するBOSS E・ZO FUKUOKAの5階。teamLab Forestは同年7月21日に開業しており、IRの発表時点ですでに常設展示として運営されていた。

画面で捕まえると壁面から姿を消す

来場者は「Catching and Collecting Forest」アプリをダウンロードし、館内の森や海にいる動物を探す。スマートフォンのカメラを壁の動物へ向け、画面上で「観察の矢」をスワイプすると、見ている場所の展示空間にも矢が飛ぶ。命中した動物は壁から姿を消し、スマートフォン内へ入る。

捕まえた動物の情報は、端末内のコレクション図鑑へ記録される。同じ種類を繰り返し捕まえると、図鑑により詳しい情報が追記される仕組みだ。観察を一度で終わらせず、再び探す理由を作っている。

図鑑へ集めた動物は、捕まえたままにするだけではない。アプリのカメラで壁を映し、その場所へ動物を投げ込むと、端末から解放される。動物は指定した壁へ現れ、再び展示空間を歩き始める。

つまり、来場者の操作は自分の画面だけで完結しない。動物が壁から消えたり戻ったりする変化を、肉眼で見ている周囲の来場者も共有する。teamLabは、端末の画面内だけを変える従来のARとの違いとして、この往復を説明した。

捕獲方法は「観察の矢」だけではない。アプリ内の好きな場所をタップすると、来場者の足元に「観察の網」が現れる。周囲の人にも協力してもらい、身体を使って動物を網へ追い込むと捕まえられる。

網で捕らえた動物も展示から消え、図鑑へ加わる。スマートフォンから解放すると、今度は足元の空間へ戻る。個人の端末操作に加え、複数人が展示内を動いて追い込む遊びを用意していた。

森と海の動物は、来場者が触れると振り向いたり逃げたりする。来場者は動物を探して捕まえ、観察した後に展示へ戻す。teamLabは、この繰り返しから動物への関心を広げる「学びの空間」と説明した。

一般的なARでは、デジタル情報を重ねた景色は、その端末を持つ人の画面に表示される。IRでは、端末から行った操作によって、館内の壁に投影された動物そのものが変化する。反対に、展示空間で起きた変化が、端末内の図鑑にも反映される。

teamLabは、スマートフォンのカメラが見ている場所へ展示空間内の変化を起こす技術を開発し、一部の特許を取得したと発表している。特許番号、使用する位置認識方式、同時利用できる端末数、通信障害時の挙動は資料に記載されていない。

「捕まえて集める森」は、個人のスマートフォンを展示のリモコンとして使いながら、その結果を大きな共有空間へ返す。動物は壁と端末の間を移り、図鑑の情報は捕獲回数に応じて増える。端末で見る映像と、館内で全員が見る投影を一つの遊びとして往復させた事例だった。