8台のカメラで、コート上の全選手の動きをすべて記録

── 適用しているモーショントラッキング技術では、どのようなシステムを活用するのでしょうか。

小山 ── コートの周りに8台のカメラを設置して、選手とボールの動きを追いかけ回して記録する技術です（図2）。どのカメラに最も多くの選手が映っているのか、また、個々の選手やボールはコート内のどこにあるのか可視化して、それを解析することで、記録したデータをチームの戦術や選手のスキルアップに役立てます。

技術的には、動いている選手やボールを常に捕捉する技術、カメラに移っている選手が誰でモノが何なのかを認識する技術を組み合わせて出来上がっています。このうち、認識は人工知能（AI）を使って、画像データ内の選手の背番号や体や頭などから推論しています。

［図2］コートの周囲に8台のカメラを設置して全選手の動きを追う

── カメラは8台必要なのですか。

小山 ── 本当は、多ければ多いほど、判別しやすい角度、距離から認識できるので楽になるのですが、当然コストも高くなってしまいます。コート上の選手を確実に追いかけられる台数を追求した結果8台になりました。

── 各カメラでは、どのような仕様の映像を撮り、情報処理には、どのくらいの規模のコンピュータを使うのでしょうか。

小山 ── モーショントラッキングする映像は2K、毎秒30フレームで撮影しています。会場に2Uのサーバーラックを立てて、2台つなげて処理に使用しています。

画像認識による動きの追跡は、選手にとって安全

── 画像認識技術の新たな応用として、バスケットを選んだとのことでした。バスケットの動きを捕捉する目的の実現には、画像処理以外にも方法があるような気がします。

小山 ── 確かに、その通りなのですが、画像認識にはほかの方法にはないメリットがあります。例えば、選手にセンサーを付けて位置や体の動きを特定する方法があります。実際にサッカーなどで採用されている方法です。しかし、バスケットは硬いコートの上でプレーし、しかも、選手が体勢を崩して転がったりする可能性もあります。このため、異物を身に着けるとケガの元になってしまう可能性があるのです。画像認識ならば、そんな心配はありません。体の動きは選手の体にマーカーを貼ってもらえれば、もっとやりやすいかもしれません。しかし、試合中の選手に、それはお願いできないので、一般的な画像認識を発展させる方向で技術開発をしています。

── 画像認識技術以外の方法でモーショントラッキングを検討したことはありますか。

小山 ── バスケットではないのですが、富士通では、3Dセンサーを使って体操選手の演技での動きを捕捉し、AIを活用して採点を支援するシステムを開発しました。ここで使っている3Dセンサーは、レーザー光を1秒間に200万回照射して、その反射光を解析して空間内での選手の動きをデータ化するものです。自動運転車で走行環境を検知するために使っているセンサーの応用です。

3Dセンサーは空間内での細かい立体的な動きを正確に捕捉できるのですが、画角があまり広くありません。体操のように、動きを補足する対象がいる領域が確実に定まっている場合には適しています。バスケットでは、そこまで細かな動きを捕捉する必要がないので、画像認識が最適ではないかと考えています。

試合のすべてを可視化して、結果に至った状況やプロセスを明らかに

── 捕捉した選手の動きは、どのようなかたちでデータ化されるのですか。

小山 ── 基本的には、位置をXYZ座標で表現し、それが、どれぐらいのスピードで何ドットずつ動いたかをデータ化して出力します。それを解析することで、ある選手がボールを持った際に味方のゾーニングができていたかといった、戦術的な情報に変えて見せることができます。

── 収集した情報は、どのようなことに利用するのでしょう。

小山 ── 試合中のすべてのプレーを可視化することを目指しています。プロスポーツでは、得点を入れた選手、アシストした選手を人が目で見て記録したスタッツと呼ばれる記録があります。しかし、結果を数字で示しているだけで、得点が入った状況やプロセスが分かりません。同じシュートでも、相手をかい潜って入れたのか、フリーになって余裕で決めたのか、どの位のスピードのドリブルで進み決めたのか、判別できないのです。こうした状況やプロセスを全部データ化できたら、これまでとは違った戦術だとか、相手チームの研究ができるのではないかと思うのです。

私たちのシステムを使えば、各選手の動きを常に追い続けて、試合を丸ごと可視化できます。どの選手が何メートル走ったとか、その際の平均速度なども分かります。時間の経過とともに走る距離や速度が、どのように変わっていったかも明確に分かりますから、個々の選手のスタミナについてもはっきりと数値化できます。

チームや選手の価値指標を多角化して、影の功労者にも光を当てる

── チームの戦術や選手のスキルを高める際の切り口が増えると、新たな戦術が生まれたり、トレーニングの方法が出てきたりと、大きな進歩が期待できそうです。

小山 ── ほかの競技でもそうですが、試合後やシーズン後に客観的に結果を振り返る際の材料が、野球で言えば3割30本といった、よく見る指標しかありません。選手は、そうした限られた指標だけで評価されがちです。もっと多角的な指標で評価できるようになれば、もっと違った面からの貢献で試合の勝敗を決定付けた選手の価値も、適切に評価できるようになるのではないでしょうか。

── プロの選手は、そうした価値評価で年俸が決まるので切実です。影の功労者と言えるような選手が、実はたくさんいるのだと思います。

小山 ── もちろん、現場を見ているコーチなどは、そうした試合に貢献している選手が肌感覚でよく分かっているとは思いますが、データとして可視化されていないと、なかなか人に伝わりにくいですよね。スカウトの方も同様です。将来チームに貢献できそうだと思う選手がいても、実際に選手を常に見守っているスカウト以外の人には、その価値が分かりにくかったりします。可視化されれば、スカウティングも変わってくるかもしれません。

全く違う切り口で、選手の安全を見守るためにも利用できるのではと考えています。例えば、故障していた選手が復帰した際には、1試合当たり3分しかプレーしてはいけないといった制限が課せられたりします。今は、コーチがストップウォッチで計測して、許された時間だけ出場しています。しかし、激しい運動をしている3分とゆっくり体を動かしている3分では負荷が違うと思うのです。そうした見方で管理すれば、選手をより確実に守れるようになるのではないでしょうか。モーショントラッキング技術を使って運動量を管理することで、もっと効果的な復帰ができる可能性が出てきます。