VR/ARのカギを握るのは「音」?
2017.9.19
スマホゲーム「ポケモンGO」のヒットや、PSVRを始めとする安価なヘッドマウントディスプレイの登場で、AR(Augmented Reality:拡張現実)やVR(Virtual Reality:仮想現実)分野に注目が集まっている。Microsoftのヘッドマウントディスプレイ「HoloLens」、Appleのスマホ向けARアプリ開発フレームワーク「ARKit」、Googleの3Dマッピング技術「Tango」など、ITのグローバル企業が本腰を入れて基盤構築を進めているので、AR/VRは今度こそ一過性のブームに終わらず定着するかもしれない。AR/VRと聞くとまず連想するのが、現実と合成されたCGキャラクターや、目の前に広がる宇宙空間といった映像だろう。だが、「音」もAR/VRで大きな役割を果たすことになりそうだ。
臨場感のある音を実現する音響技術自体は数十年前から研究されており、その基本となるのが頭部伝達関数(HRTF)。頭の近くで鳴った音は、耳から入り、鼓膜を振動させる。音の周波数によってどのように音圧が変化するかを示したのがHRTFだ。HRTFに基づいた録音をヘッドフォンで再生すると音が鳴っている方向までわかるほど臨場感があるが、頭や耳の形状は人によって異なるため、誰にでも効果が実感できるとは限らず、音が聞こえる方向を変更するのが難しかった。これを解決するために、各社がさまざまなアプローチを行っている。例えば、ヤマハの「ViReal」では多数の耳形状をデータベース化して分析し、最適な耳形状を算出した。このモデルに基づいて音声データを作ることで、ヘッドフォンで聴いている音を前後左右、さらに上下にも自在に配置できるようになり、その効果を従来より多くの人が実感できるようになった。
また、Googleは「Omnitone」というVR用の立体音響技術をオープンソースで公開している。これは4チャンネルで録音された音声データを、(ソフトウェア的な)8方向の仮想スピーカーに送り、最終的にヘッドフォン用で聞けるように出力するというもの。デモ映像をマウスでドラッグすると、見ている画面に応じて音の方向が変化することを実感できる。
Appleが特許を取ったと報道されたヘッドフォン技術もAR/VRに関わってくる可能性がある。この技術は状況に応じて、周囲の音を選択的に聞き取れるようにするもので、ヘッドフォンを着けたまま会話することもできるという。こうした技術が実現するならば、現実の音と仮想の音を組み合わせることもできそうだ。
「スマホの次に来るモノ」として、スマートウォッチやスマートグラスが挙げられることは多いが、ヘッドフォンを用いた音のAR/VRにも注目したい。