「画像処理のF1」、Bリーグで磨く未来のスポーツ・テクノロジー

手持ちの優れた技術の可能性を、もっと広げたい

── 人の動きを捉えてデータ化するモーショントラッキング技術は、そもそも、どのような用途を想定して開発された技術なのでしょうか。

小山 ── 富士通では、長年にわたって画像処理技術を研究してきました。そして、交通違反の対策に向けた高速道路を走るクルマのナンバー読み取りや監視カメラなど、社会インフラで画像を読み取るニーズに応える形で応用していました。そうした技術を全く違った用途に転用すると何ができるのか、応用の可能性を探りたいと考え、応用の候補の一つとしてスポーツへの応用を検討しました。

── 応用先として、なぜスポーツ、しかも、バスケットボールに応用することに決めたのでしょうか。

小山 ── 2013年に東京オリンピック/パラリンピックの招致が決まり、世界にアピールできる、その機会を生かして富士通として何かできないかと考えたのがスポーツに着目したきっかけです。ただし、オリンピックの場だけで自社の技術やサービスをアピールしたのでは、一過性の取り組みで終わってしまいます。オリンピックを契機にスポーツの分野でのITの活用を考えるなら、その後も継続的に取り組みノウハウを蓄積できる対象を選びたいと考えて、長く取り組めるスポーツを検討しました。そして、ちょうどその頃、立ち上がる予定だった日本のプロバスケットリーグである「Bリーグ」に着目したのです。

Bリーグには、既に運営方法が定まったスポーツリーグにはない、一緒に育っていけそうな期待感がありました。新しいリーグということもあって、これまでプロスポーツで取り組んでいなかった新しい取り組みにも積極的にチャレンジする気質があったことが魅力だったのです。また、Bリーグ設立の音頭を取っていた川淵三郎氏は、富士通と同じ古河グループの古河電工の出身で、人脈的にも親しかったという面もあります。

画像認識技術の対象として、バスケットの試合は極めて高難度

── 画像認識技術の一種であるモーショントラッキング技術の応用先として、バスケットというスポーツには、どのような意義や特徴があるのでしょうか。

小山 ── 実際に、Bリーグと一緒に取り組み始めて気付いたことなのですが、バスケットというスポーツは、数ある画像認識の応用の中で思いのほかハードルが高い対象だったのです。手持ちのモーショントラッキング技術を使えば、簡単に選手やボールの動きを補足して記録できるのではと思っていたのですが、実際には簡単ではありませんでした（図1）。試合中には選手が入り乱れて選手同士で重なる場面も多く、しかも、動きが速い。そして、選手の体勢や向く方向もコロコロと変わってしまいます。これらは画像認識の条件として厳しいものばかりです。

［図1］画像認識技術の応用先としてバスケットは難易度が高い
バスケットの試合では、選手が入り乱れて重なる場面（上）や、急に素早く動き出すような場面（下）などがあり、画像認識の対象としては極めてハードルが高い。

── ほかのスポーツは、バスケットに比べると応用しやすいのでしょうか。

小山 ── 応用先としてバスケットに取り組む前に、野球の解析を試したことがあるのですが、野球は選手の位置が定まりやすく、カメラを固定できるので、画像認識の対象としてはやりやすかったように感じます。サッカーは、バスケットと似たところがあり、これも難しい対象ですね。しかし、プロバスケットリーグの試合は、それにも増して難しい要素が目白押しでした。

例えば、プロバスケットのコートにはチームのロゴが描かれていたりしますが、選手が着ているユニフォームも同じチームカラーだったりするので、カメラからは一体化して見えてしまいます。それに比べればサッカーは、ピッチと選手が区別しやすいです。また、バスケットは観客席が低く近いため、背景でビールを持った観客が動いていたりすると、選手の動きと区別しにくくなってしまいます。動きを補足すべき対象を切り出しにくいスポーツなのです。

スポーツで先端技術を磨く「画像処理のF1」

── 現場での試行錯誤による技術のブラッシュアップが大切になりそうですね。

小山 ── もともと私たちは、社内に「レッドウェーブ」という女子バスケットチームを持っていて、初めは、その練習場で社内検証していました。しかし、男子の日本代表選手ともなれば、動きが一段とスピードアップしますから、そのスピードに追随できる技術にブラッシュアップしていく必要があります。その際、Bリーグや日本バスケットボール協会が好意的に協力してくれて、試合会場のセンターで楽々悠々と選手の動きなどを撮影させてもらえました。システムエラーが出る場面の検証などに、とても役立ちました。

── スポーツ自体が、先端技術を磨く場になっているという意味では、プロバスケットボールリーグは、まさに「画像処理のF1」ですね。

小山 ── その通りですね。ただし、画像処理技術を開発、応用する立場から見れば、これほど難しい対象に出会えたことは幸運なことです。おそらく、バスケットの試合を対象にしてモーショントラッキングを支障なく活用できるようになれば、先進的な人やモノのモニタリングや医療やリハビリなどでの活用など、多くの新しい応用を切り拓くことができるでしょう。

8台のカメラで、コート上の全選手の動きをすべて記録

── 適用しているモーショントラッキング技術では、どのようなシステムを活用するのでしょうか。

小山 ── コートの周りに8台のカメラを設置して、選手とボールの動きを追いかけ回して記録する技術です（図2）。どのカメラに最も多くの選手が映っているのか、また、個々の選手やボールはコート内のどこにあるのか可視化して、それを解析することで、記録したデータをチームの戦術や選手のスキルアップに役立てます。

技術的には、動いている選手やボールを常に捕捉する技術、カメラに移っている選手が誰でモノが何なのかを認識する技術を組み合わせて出来上がっています。このうち、認識は人工知能（AI）を使って、画像データ内の選手の背番号や体や頭などから推論しています。

［図2］コートの周囲に8台のカメラを設置して全選手の動きを追う

── カメラは8台必要なのですか。

小山 ── 本当は、多ければ多いほど、判別しやすい角度、距離から認識できるので楽になるのですが、当然コストも高くなってしまいます。コート上の選手を確実に追いかけられる台数を追求した結果8台になりました。

── 各カメラでは、どのような仕様の映像を撮り、情報処理には、どのくらいの規模のコンピュータを使うのでしょうか。

小山 ── モーショントラッキングする映像は2K、毎秒30フレームで撮影しています。会場に2Uのサーバーラックを立てて、2台つなげて処理に使用しています。

画像認識による動きの追跡は、選手にとって安全

── 画像認識技術の新たな応用として、バスケットを選んだとのことでした。バスケットの動きを捕捉する目的の実現には、画像処理以外にも方法があるような気がします。

小山 ── 確かに、その通りなのですが、画像認識にはほかの方法にはないメリットがあります。例えば、選手にセンサーを付けて位置や体の動きを特定する方法があります。実際にサッカーなどで採用されている方法です。しかし、バスケットは硬いコートの上でプレーし、しかも、選手が体勢を崩して転がったりする可能性もあります。このため、異物を身に着けるとケガの元になってしまう可能性があるのです。画像認識ならば、そんな心配はありません。体の動きは選手の体にマーカーを貼ってもらえれば、もっとやりやすいかもしれません。しかし、試合中の選手に、それはお願いできないので、一般的な画像認識を発展させる方向で技術開発をしています。

── 画像認識技術以外の方法でモーショントラッキングを検討したことはありますか。

小山 ── バスケットではないのですが、富士通では、3Dセンサーを使って体操選手の演技での動きを捕捉し、AIを活用して採点を支援するシステムを開発しました。ここで使っている3Dセンサーは、レーザー光を1秒間に200万回照射して、その反射光を解析して空間内での選手の動きをデータ化するものです。自動運転車で走行環境を検知するために使っているセンサーの応用です。

3Dセンサーは空間内での細かい立体的な動きを正確に捕捉できるのですが、画角があまり広くありません。体操のように、動きを補足する対象がいる領域が確実に定まっている場合には適しています。バスケットでは、そこまで細かな動きを捕捉する必要がないので、画像認識が最適ではないかと考えています。

試合のすべてを可視化して、結果に至った状況やプロセスを明らかに

── 捕捉した選手の動きは、どのようなかたちでデータ化されるのですか。

小山 ── 基本的には、位置をXYZ座標で表現し、それが、どれぐらいのスピードで何ドットずつ動いたかをデータ化して出力します。それを解析することで、ある選手がボールを持った際に味方のゾーニングができていたかといった、戦術的な情報に変えて見せることができます。

── 収集した情報は、どのようなことに利用するのでしょう。

小山 ── 試合中のすべてのプレーを可視化することを目指しています。プロスポーツでは、得点を入れた選手、アシストした選手を人が目で見て記録したスタッツと呼ばれる記録があります。しかし、結果を数字で示しているだけで、得点が入った状況やプロセスが分かりません。同じシュートでも、相手をかい潜って入れたのか、フリーになって余裕で決めたのか、どの位のスピードのドリブルで進み決めたのか、判別できないのです。こうした状況やプロセスを全部データ化できたら、これまでとは違った戦術だとか、相手チームの研究ができるのではないかと思うのです。

私たちのシステムを使えば、各選手の動きを常に追い続けて、試合を丸ごと可視化できます。どの選手が何メートル走ったとか、その際の平均速度なども分かります。時間の経過とともに走る距離や速度が、どのように変わっていったかも明確に分かりますから、個々の選手のスタミナについてもはっきりと数値化できます。

チームや選手の価値指標を多角化して、影の功労者にも光を当てる

── チームの戦術や選手のスキルを高める際の切り口が増えると、新たな戦術が生まれたり、トレーニングの方法が出てきたりと、大きな進歩が期待できそうです。

小山 ── ほかの競技でもそうですが、試合後やシーズン後に客観的に結果を振り返る際の材料が、野球で言えば3割30本といった、よく見る指標しかありません。選手は、そうした限られた指標だけで評価されがちです。もっと多角的な指標で評価できるようになれば、もっと違った面からの貢献で試合の勝敗を決定付けた選手の価値も、適切に評価できるようになるのではないでしょうか。

── プロの選手は、そうした価値評価で年俸が決まるので切実です。影の功労者と言えるような選手が、実はたくさんいるのだと思います。

小山 ── もちろん、現場を見ているコーチなどは、そうした試合に貢献している選手が肌感覚でよく分かっているとは思いますが、データとして可視化されていないと、なかなか人に伝わりにくいですよね。スカウトの方も同様です。将来チームに貢献できそうだと思う選手がいても、実際に選手を常に見守っているスカウト以外の人には、その価値が分かりにくかったりします。可視化されれば、スカウティングも変わってくるかもしれません。

全く違う切り口で、選手の安全を見守るためにも利用できるのではと考えています。例えば、故障していた選手が復帰した際には、1試合当たり3分しかプレーしてはいけないといった制限が課せられたりします。今は、コーチがストップウォッチで計測して、許された時間だけ出場しています。しかし、激しい運動をしている3分とゆっくり体を動かしている3分では負荷が違うと思うのです。そうした見方で管理すれば、選手をより確実に守れるようになるのではないでしょうか。モーショントラッキング技術を使って運動量を管理することで、もっと効果的な復帰ができる可能性が出てきます。

新しいスポーツの楽しみ方をファンに提供

── これまでスポーツでチームや選手を評価するために使われてきた指標は、テクノロジーを使わなくても扱える範囲だけに限定したものなのですね。確かに、試合を丸ごと可視化することで、違った景色が見えてきそうです。

小山 ── チーム関係者だけでなく、ファンにも、これまでとは違った試合の見方を提供できるのではと考えています。8台のカメラが各選手の動きに目配りしているので、特定の選手が中心になるように動きを常に追い続けた映像を撮ることができます。

モーショントラッキングとは別の技術なのですが、会場に設置した複数台のカメラを、エンターテインメント向けにも活用できるのではと考えています（図3）。例えば、推しの選手の一挙手一投足を試合中見続けたり、部活などでバスケットをしている子どもたちが同じポジションの選手の動きを追い続けたりといった、欲求に応えることができます。

［図3］マルチアングルの利点をエンターテインメントに活用
マルチアングルでの映像を活用して、注目する選手、見たいアングルを追い続ける。

── 現在、コロナ禍でファンの方々も、なかなか試合を見に行けない状態です。テクノロジーを活用して、新しい楽しみ方を提供できるかもしれませんね。

小山 ── その通りです。同じダンクシュートでも2mの人が50㎝飛んだのと1m90cmの人が70㎝飛んだのでは、飛翔感が全然違います。3ポイントシュートも、7.5mを決めたのと、9mを決めたのでは難易度が違うわけです（図4）。会場にいれば、こうした違いを感じることができるかもしれませんが、中継ではなかなか伝わりにくい部分です。臨場感やすごさを伝えるのにテクノロジーが貢献できればと思います。

また、特定のチームに偏った視点から選手を追う放送や、特定の選手だけを応援する放送があってもいいわけです。これは、リモートでないとできないことですし、今の技術で十分対応可能です。そのような取り組みをしてみたいですね。

［図4］プレーのすごさを可視化して、分かりやすく伝える

── エンターテインメント向けに技術やシステムを改善する点などがあるのですか。

小山 ── 現時点では、会場にエンターテインメント向けとして、4Kカメラを3台入れて、60フレーム/秒で撮影し、そこからハイビジョンを切り出し、自由な視点から映像を見せることができるシステムを考えています。

さらに将来を見据えて、見たいアングルからの映像を自由に選んで見ることができる「マルチビューアングル」と呼ぶ技術の開発も進めています。これは、複数のアングルから撮影したカメラ映像から被写体の3次元構造を解析し、カメラとカメラの間の映像をコンピュータ・グラフィックスで補ってなめらかにアングルを変えて見ることができる映像を生成する技術です。ただし、現在、こうした処理をしようとすると、何十台ものサーバーをフル稼働させる必要があります。

ベンチャー気質のBリーグとの得難い協業

── 技術系の企業に勤務する立場で、異質な業界であるBリーグの関係者と一緒にお仕事されたわけです。苦労したこと、楽しかったことなどはありますか。

小山 ── Bリーグがスタートしたのは2016年9月でしたが、私は11月から１年間、Bリーグのオフィスにお世話になりました。その間、一緒に席を並べて仕事していて感じたのは、ベンチャー意識がとても強いということです。若い人に権限を持たせて、現場でどんどん判断していき、びっくりするほどのスピード感がありました。

開幕には、LEDを派手に使った演出のオープニングセレモニーを行ったのですが、これは広告予算を止めて急遽決めた演出です。普通の広告を打つよりも、そうした方がSNSでバズって広告効果が上がると考えた人がいたのです。それを聞いて、やってみろというトップがいたのも、ベンチャー気質だったからだと思います。いい経験ができました。

── モーショントラッキング技術に対するBリーグの方たちの反応はいかがでしたか。

小山 ── 興味を持って見ていただいているように感じます。現時点では、サンプルを見せて、意見を伺っている段階なのですが、土曜日の試合の映像を徹夜で編集して次の日の朝までに仕上げ、選手にフィードバックしています。試合の次の日には戦術を見直すミーティングがあるのですが、編集作業を迅速化できれば、新たな戦術を練る際のツールとして役立つのではないかという、お話をいただいています。

もちろん、ホワイトボードで戦術を伝えることを重視する大御所コーチなどもいて、ITに手を出してもらえないところもあります。ITとは縁遠かったと思われていた将棋界では、今ではAIの活用が当たり前になり、戦法に革命が起きていると聞きます。バスケットの世界も、これからデジタルネイティブな世代がコーチになってきますから、長い目で見ながら取り組んでいきたいと思っています。

Profile

白水 敦子（しろうず あつこ）

富士通株式会社 JAPANリージョン スポーツ・エンターテインメント統括部 シニアマネージャー

入社後、富士通のアプリケーションパッケージの商品化担当を経て、研究所技術を商用化するための新事業開発に従事。その後、ショールームやコンタクトセンターの運営、デジタルマーケティングなどを担当。現在、小山とともにICTをスポーツに活かすスポーツ・エンタ―テインメント統括部において、主にB.LEAGUEにおけるビジネス開発・推進を実施。

小山 英樹（こやま ひでき）

富士通株式会社 JAPANリージョン スポーツ・エンターテインメント統括部 シニアディレクター

通信装置の開発・要素技術研究を経て、富士通の独自技術を核としたビジネスの企画・立ち上げのマーケティング業務に従事。東日本大震災後、東日本復興・新生支援を兼務。東京での五輪開催が決まった後、東京2020大会推進担当。B.LEAGUE発足後1年間常駐。現在、ICTをスポーツに活かすスポーツ・エンタ―テインメント統括部において、スポーツ及び関連市場におけるビジネス開発・推進を実施。

Writer

伊藤 元昭（いとう もとあき）

株式会社エンライト 代表

富士通の技術者として3年間の半導体開発、日経マイクロデバイスや日経エレクトロニクス、日経BP半導体リサーチなどの記者・デスク・編集長として12年間のジャーナリスト活動、日経BP社と三菱商事の合弁シンクタンクであるテクノアソシエーツのコンサルタントとして6年間のメーカー事業支援活動、日経BP社 技術情報グループの広告部門の広告プロデューサとして4年間のマーケティング支援活動を経験。

2014年に独立して株式会社エンライトを設立した。同社では、技術の価値を、狙った相手に、的確に伝えるための方法を考え、実践する技術マーケティングに特化した支援サービスを、技術系企業を中心に提供している。

URL: http://www.enlight-inc.co.jp/