また、石井教授の初期の代表作に、1999年に開発した「musicBottles」がある（図6）。何も入っていないガラスのボトルが並んでいるだけに見えるが、ボトルのフタを開けると、ピアノの演奏が聞こえてくる。別のボトルのフタを開けるとベース、さらにもうひとつ開けるとドラムの演奏が始まり、セッションが始まる。ボトルのフタをひとつだけ閉じると、セッションの中からひとつの楽器の演奏だけが聞こえなくなる。ボトルのフタの開け閉めで、あたかもセッションを操っているかのような感覚になる。

[図6] 道具を扱う動きと電子システムの動きを境目なく連動させる「musicBottles」
出典：MITMediaLab Tangible media Groupのホームページ

種明かしをすれば、フタの動きをセンサーで検知して、楽器ごとの音楽を流したり、切ったりするだけの仕組みだ。これが、一体何の役に立つのかと感じる人がいるかもしれない。しかし、ボトルというありふれたモノに触れて行う操作と、電子的なシステムの動きが境界なく連動するUIは、来るべきIoT時代を先取りしたUIであるといえる。

例えば、薬の瓶に同じシステムを組み込むと、フタの開け閉めを検知することで患者が薬を飲んだことを自動的に記録することができる。記録したデータを病院に送れば、これを見て医師が薬の服用を管理したり、薬の残量を察知したりできる。患者の自己申告に頼らず、ありのままの服用の実態を知ることができるUIは、高齢化が進むこれからの時代に求められるものになるだろう。

ロボットと触覚を共有

機器と人、それぞれの触覚を共有することで、新しい応用を開こうとする取り組みもある。慶応義塾大学の舘暲（たちすすむ）特任教授と南澤孝太准教授は、コンピューター内にある仮想的なグラスや箱をつかむ感触や中にモノが入っている感覚を、実際に指先で感じることができる技術「GravityGrabber」を2007年に開発した。仕組みは極めて単純で、指先にベルトを巻き付け、その両側をモーターで巻き上げたり緩めたりすることで指先を押す力や皮膚を横に引く力を表現するものだ。

さらに、舘特任教授はGravityGrabberを応用して、遠隔地に細やかな触感や存在感を伝えられるロボット「TELESAR V」を開発した（図7）。このロボットは、カメラやマイクを通じた視覚と聴覚に関わる情報に加え、ロボットが手に取ったモノの触感を操作する人に伝えることができる。つまり、視覚・聴覚・触覚の情報をロボットと操作者が共有できるため、操作者はロボットがいる場所の臨場感を感じながら操作し、ロボットは操作者であるかのように振る舞えるのだ。現在は、GravityGrabberで実現していた指先を押し込む力と皮膚を引っ張る力による感触だけではなく、微細な振動や温度などに関わる感触も再現できるようになった。これにより、ロボットが触れた布や紙など細かい物体表面の感触も、操作者側で感じられるように進化している。

[図7] 操作者と視覚・聴覚・触覚を共有できるロボット「TELESAR V」
出典：科学技術振興機構（JST）と慶応義塾大学の共同プレスリリース

ロボットと人の間で触覚を共有する技術は、ロボットの応用を拡大していくうえでとても重要だ。例えば、既に低浸襲で細かな手術を可能にする手術用ロボットが実用化され、世界中で数多くの成果を挙げている。ただし、現時点では、触感を感知する機能がないため、縫合時に糸の操作の手加減が難しい、施術用アームが臓器に接触しても気づかないなどの課題を抱えている。手術用ロボットと術者が触覚を共有できれば、さらに安全性が高まるだろう。また、深海や宇宙空間、原子炉など人間が踏み込めない場所で作業するロボットと操作者が触覚を共有できれば、より的確な作業ができるようになるだろう。

触覚を共有する技術は、ロボットを操るUIとして重要であるとともに、操作者に遠隔地にあるモノの感触を伝えるメディアとしても重要である。第3回は、よりリアルな実体感を遠隔地に伝える技術を紹介するとともに、記録するためのメディアとして、触覚関連技術についても解説する。