Science Newsサイエンスニュース

⼿話を⾳声会話にリアルタイムに変換する⼿袋

2020.11.30

UCLAが開発した、手袋型の手話→音声変換デバイス。 ©Copyright 2020 UCLA Samueli School Of Engineering
UCLAが開発した、手袋型の手話→音声変換デバイス。

ITが特に大きな恩恵をもたらした分野としては、コミュニケーションが挙げられる。メールやチャットなどのサービス、触覚ディスプレイ等の機器を用いることで、聴覚や発声、視覚に障がいがあっても、自分の意思をスムーズに伝えることができるようになってきた。
ただし、あらゆる障がいが取り除かれたというレベルにはまだ至っていない。例えば、手話を使う人が、手話を理解しない人とリアルタイムにコミュニケーションを取るのは難しく、通訳や筆談、チャットを介することになる。
UCLAが開発した手袋型デバイスは、こうした敷居を大幅に下げることになりそうだ。
ユーザーがこの手袋型デバイスを装着して指を動かし、対応したジェスチャーを取ると、5本の指それぞれに対応したセンサーが動きを検出、信号をスマートフォンに送信する。スマートフォン側では、動きのパターンを機械学習を用いて音声に変換する。現在のところ、1秒当たり約1ワードの速度で変換が可能だという。
同様の処理を行うシステムは以前にもあったが、かなり大がかりなものになっていた。今回のシステムは、手袋型デバイスとスマートフォンがあればよいため、利用範囲が広がる。アメリカ手話を使う聴覚障害者4人でテストしたところ、15回の試行で、アルファベットと数字を含む660のジェスチャを認識することに成功した。
手話では話者の表情も重要な要素だが、研究チームは眉間から口角まで追加の粘着センサーを付けることで顔の表情をキャプチャすることにも成功したとのこと。
変換速度等の改良は必要だが、全体のシステムも低コストに抑えられており、実用化は意外に早いかもしれない。

(文/山路達也)

TELESCOPE Magazineから最新情報をお届けします。TwitterTWITTERFacebookFACEBOOK