振り付けも「自動生成」で生み出せる時代になる？

── Sound of Hondaは2013年に発表されています。データを使って何かを生み出す方法において、当時と現在で変化したのはどんな点でしょうか？

当時は「データマイニング」や「データビジュアライゼーション」^*6をモチーフに作品を作っていた時代でした。

ところが2014年頃から徐々にAIがブームとなり、2015年にCNN(Convolutional Neural Network)を用いた画像生成の手法、例えばGoogleが開発した悪夢のような画像を生成するDeep Dreamや、Leon A. Gatys達が開発した画風を変換するNeural Style Transferがリリースされてからは、解析ではなく生成を用いた作品がブームとなっていきました。そこからも画像生成のための次々と新しいライブラリ、アルゴリズムが発表され、物体検出の速度や精度も向上したことで新たな表現が可能となりました。例えばPerfumeのプロジェクトでは、ミュージックビデオにどういった物体が写っているかを認識する技術を用いたシステムを開発しました。具体的には、携帯で撮影した写真と類似しているミュージックビデオのフレームを検索するサービスだったのですが、10年前では考えられないような精度です。Perfumeは3人の髪型やルックスが変わらず、活動の期間も長くて映像データも多いので機械学習と相性が良いということも大きいですね。

── 実際の振り付けを、機械学習で生み出すことはできそうでしょうか？

新しい動きを生成することはできるものの、実際に振り付けとして使えるレベルの動きを生み出すのは思っていたより難しいことがわかってきました。人間の目は敏感で、等身大の人間が少しでも変な動きをすると違和感が生じます。人間が見ていて「自然で美しい」と思えるような動きを作るのはなかなか難しいんです。

一方、Perfumeの振り付けを作り上げてきた演出振付家のMIKIKOさんの場合、「歌詞に『バレンタイン』が出てくるから手が2、1、4と動く」というように、歌詞のコンテキストと振り付けがすごく密接に絡み合っていたりします。そういうのは、おそらく機械では思いつけない。だからMIKIKOさん的なアプローチを自動生成するのも難しいでしょう。でも、ヒップホップのダンスのようにフォームやスタイルが確立していて、音楽に合わせて踊る曲であればできそうな気もしていて、そのあたりで実験を繰り返していますね。

そのような実験的な試みに関しては、まずは、MIKIKOさんが主宰するELEVENPLAYというダンスカンパニーの自主プロジェクト的な公演で試しています。そして、技術の実証実験だけでなく表現としても成立するかの検証が済んである程度のレベルまで来たら「次はPerfumeなどの大きなステージで」という流れになります。つまり、リサーチ＆デベロップメントを自前のプロジェクトで繰り返し、うまくできるようになってきたら大規模なエンターテインメントに持っていくという感じですね。