分かり合えないパートナーといかに対峙すべきか

ところが、人とAIの同居には、1つの困った問題がある。パートナーであるAIが下した判断が、どのような理由で下されたのか理解できないことだ。これは、AIの中で行われる判断結果を導いたプロセスが、ブラックボックス化していることから起きる不都合だ。

AIは、人の想像を超えるような意表を突く答えや判断を出してくることがよくある。しかも、多くの場合、人が出した答えや判断よりもAIの方が正しい。通常、人は予想外の見解を突きつけられた場合、その見解が得られた理由を知りたがる。これは当然だ。理由が分からないと、AIが出した結果を基に次の作業を行う人は、当初の想定通りの作業を続けてよいのか疑心暗鬼に陥ってしまうからだ。ところが、AIは、判断理由を何も語ってはくれない。人はただ、AIの判断が正しいと信じて、決められた作業を行うしかない。

ただし、重要なことを忘れてはいけない。AIは極めて正しい判断を下すことが多いものの、ごくまれに過ちを犯す。完全に信用することができないのだ。だからAIの同居人は、寡黙な同僚といかに付き合っていったらよいのか、人と人の間で行うコミュニケーションとは別の対処法を身に着けておく必要がある。

これは、現在の社会が抱える大きな課題だ。きたるべき人とAIとの共存時代の到来を見据えて、様々な業種で、様々な専門的見地から、ブラックボックス化した解答マシーンであるAIの効果的な活用法を探る動きが出てきている。

AI搭載製品のユーザーには自分がAIを育てている自覚がない

現代のAIのベースとなっている技術である機械学習には、「創発性」と呼ばれる性質がある。創発性とは、学習によって、新たな機能や性質などが出現する性質のことである。言い換えれば、AIの思考手順を、設計者がマニュアル化して逐一指定しなくても動作するということだ。AIが想定外の判断を下す原因となっているのは、この創発性にある。

創発性を持つAIの機能や性質は、AIを組み込んだ機器をどのように使ったのか、誰が所有して、どこに置かれたかかによって、大きく変わってくる。創発性を持たない従来の機器では、設計者が完璧に機器の機能や性質をコントロールできる。パソコンのように、ハードウエアとソフトウエアが分離されている機器では、それぞれの仕様の組み合わせで機能や性質を自在に変えることはできるが、想定外の状態になることは基本的にない。

ところが、AIの場合には、ユーザーの使い方次第で機能が変わり、しかもそのユーザー自身にはAIの機能を変えている自覚がない。このため、不具合が発生した場合の責任の所在が極めて曖昧になる。誤った判断をするAIに育ってしまった際には、そう育てた本人が、誤った判断に当惑することになる。

設計者も意図していない判断を下すAI

近年のAIは、高度化し、一般に設計者が機能や性質をコントロールしにくい方向へと進化している。連載第1回でも解説したように、機械学習を高度化させたディープラーニング（機械学習）では、学習し過ぎて過学習と呼ぶ現象が起きると、設計者が意図したような判断を下さなくなる。こうした要因による想定外の判断を抑制するためには、訓練データの量を増やす、もしくは「正則化^*1」と呼ばれる過学習を防ぐ手法を採用する必要がある。

さらに近年、「強化学習」と呼ばれる人が介在しなくても学習するAIが登場し、ますます設計者がAIの機能や性質を見通すことが難しくなってきた（図2）。強化学習は、人間が学習用のデータも、そのデータが何を示しているのか模範解答も示すことなく、AIが自ら学習を進める技術である。AIが、利用環境の中で自ら行動してデータを集め、あらかじめ求められた成果に対する達成度に応じた報酬（ポイント）を受け取り、なるべく多くの報酬がもらえるように自律的に学習行動を修正していく。設計者が関与する余地が従来のAIよりも少ないため、思いのほか優れた結果が得られる可能性がある一方で、機能や信頼性を保証しにくい悩ましい技術だ。

［図2］教師である人が介在せず、教材データもなくAIが自律的に学習する強化学習
（左）通常の教師あり学習での学習の構図、（右）強化学習での学習の構図
作成：伊藤元昭