音と光と触覚で、コンピュータと対話する

落合 ── 僕らの研究室では比較的、何でもホームメイドで作ってしまいます。最初はモジュールから試作します。基板などはキャンパス内で作り、その上でたくさんのプロトタイプを動かしてみます。3Dプリンターもレーザー加工機もあって、研究レベルで使うようなものなら、パーツ1個1個から大抵のものは加工できます。

ただ、平均的な製品は外注することもあって、アルミ削り出しとかになってくると中国の工場に頼んだりすることが多いですね。

【写真：金属製のプロトタイプ】

武田 ── これはなんですか？

落合 ── 以前、「Colloidal Display（コロイドディスプレイ）」というシャボン膜でディスプレイを作ったのですが、そのときのプロトタイプです。シャボン膜の表面を音波で細かく振動させるのですが、反射率が違う白と黒の領域を計算しているんです。どのぐらいの速度でミックスさせたら表面のテクスチャーが変わるのか研究しました。

【YouTubeの動画：Colloidal Display (2012)】

武田 ── 確かに面白いテクスチャー感が出ていますね。

落合 ── このときは割れにくいシャボン膜を作り、表面の反射分布をどう計算するかが主な研究でした。修士の頃はコンピュータグラフィックスが好きだったのですが、その後から数式でモデリングするのも楽しいなと思えてきて。

今やっているのは、強力な超音波で形を作ったり、ものを空中に浮かせられるような音場^＊3とか光をコンピュータグラフィックスで作ることです。昔から、光や音が干渉してどういう場を作るのかにすごく興味がありました。これは音場でものを持ち上げる装置ですね。

【スピーカーの写真：Pixie Dust】

音ではなくプラズマで絵を描いてもいいし、基本的に計算は全く一緒です。大体フーリエ変換^＊4で物理現象を解いて、その形を作るという作業、計算機ホログラムをずっと行っています。

音と光って、人間にとってはすごい身近な物理量じゃないですか。目で見て、音で聴くって。でも、音や光をものすごく強い周波数やエネルギーで生みだすと、人間にとって予想外の反応が起こる。

例えば、触覚が空中にできたり、そこにものが浮いたり、もしくは空中に絵が描けたり、そういうことをずっとやっています。

【動画：Fairy Lights in Femtoseconds (2015) 】

武田 ── 音と光ってかなり違う部分もあると思うのですが、その2つに注目したというのはどういう観点からだったんでしょう？

落合 ── 映像が好きだからでしょうね。映像って音と光でできていますから。人間は音と光の2項で全てを判断するような気がしています。それにプラス触覚。その3つを研究するといいかなと。

武田 ── 落合さんの作品は、鑑賞者が作品の一部を成すようなインタラクティビティがあるところが面白いです。

落合 ── 鑑賞するだけのものは少ないですね。バーチャルリアリティの研究者たちは、音と光と触覚を人間に過不足なく与える方法を考えるんですが、僕はそこを使って人間とコンピュータが対話する形に着目して、全然違う生態系を作ってみようと実験的にやっているイメージです。

人間は「コンピュータネットワークの一部になった」と僕は思っているんですね。シリコンでできたコンピュータと、その一部を成す人間はどんな方法で通信していくのか。そのとき人間はどうやって暮らしていくのか。その過程を体系化させることに関心があります。ここでやっている一連の研究は、音と光と触覚で表現される1つの通信形態だと捉えています。

メディアアーティストだったエジソン

──落合さんは、これまで2つの会社を興されていますね。

落合 ── 研究や作品を作る過程で、どこかの企業がものすごく欲しそうな要素技術が出てくることがよくあるんですね。例えば、空中に音波を収束させる技術とか、空中から音を鳴らす技術とか、もしくは空中に絵を描画する技術とか。その場合はパテントを取りに行って、場合によっては会社を興すということをしています。

武田 ── 実際にその技術が使われている製品というのは世の中にあるのですか。

落合 ── うちの会社はちょうどシードラウンド^＊5が終わり、製品が出来上がってきて次の出資か技術の提供先を待っているような時期ですね。最初に得た研究費で投資して、学生と一緒に製品プロトタイプを作って、中にはそれ以上大きく育つようなものもあるので、特許を取ってちゃんとベンチャーを興しています。

武田 ── それも含めて教育活動だというのは、なるほどと思いました。

落合 ── 僕自身はこうした一連の過程の中で、作品づくりをしているメディアアーティストとしての側面もあります。展示している時はメディアアーティストですが、大学にいる時は研究論文を書いていることが多い。そこにあまり垣根は感じていません。

武田 ── さらに経営者なんですよね。自身の中で、割と自然に横断している感じですか。

落合 ── トーマス・エジソンは発明家や事業家と呼ばれましたが、今だったらメディアアーティストと呼ばれるだろうと思うんです。蓄音機を作ったり、電球を作ったり、映写機を作ったり、全然違うものを毎回作りましたよね。彼はこれまでにないメディア装置を作った芸術家だったと思っているんです。

5年に1回ぐらい新しいものが売れて、たまたま現実的な側面がお金に結び付いて研究所まで建ったのがエジソン。そのようなタイプが、現代にいてもいいんじゃないかなと思うんですよ。

武田 ── 確かにエジソンの場合、後から思えばテクノロジーという側面が残ったみたいな感じですね。

落合 ── そう。今テクノロジーが残っているだけで、当時からすれば電球だって、蓄音機だって、テクノロジーだかアートだか、訳の分からないものだったと思うんですよ。

彼の作ったキネトスコープ（世界初の映写機）だって、中を覗き込んで映像を見る装置として世の中に広まったわけじゃありません。リミュエール兄弟が壁に投射する型の映写機を作り、さらにそれを速攻で真似して作られたものがアメリカで大当たりして普及したわけですから、後追いで作られたものが、結果として後世に続くテクノロジーとして生き残っているんですよ。

こんな具合に、最初のワンメイドの「種」は極めてアーティスティックな形態をしている気がします。

武田 ── 人工知能のようなソフトウェアの世界でも、同じことが言えそうですね。