検査装置の画像から眼病を見つける

ここからは、各企業や研究機関が開発して実際に実用化したXAIの具体例を紹介する。まず、AIの注目点を特定するアプローチによる例を二つ示す。

最初の例は、囲碁のトッププロを凌駕する戦績を挙げた有名なAI、「Alpha Go」の開発で名を馳せたイギリスの人工知能企業ディープマインド（DeepMind）が開発した、人間の医師と同等の診断能力を持つ眼疾患診断AIである（図4）。このAIは、ディープラーニングを活用して、網膜の3Dスキャン画像から50種以上の眼の疾患を眼科医の診断結果と94％以上の一致率で検出できる能力を持っている。ただし、いくら診断精度が高くても、そのままでは医療用には使えない。AIが医療の診断に関わる際には、必ず、診断の根拠を明示できるようにしておく必要があるのだ。機械が判断するままに治療を行う医師もいないし、結果をそのまま受け入れる患者もいないからだ。

［図4］ディープマインドの眼疾患診断AIが出した診断結果
網膜の3D画像から、異常のある部分を明示して、疑わしい疾患名の可能性を示す。
出典：DeepMind、Moorfields Eye Hospital、University College London,“Clinically applicable deep learning for diagnosis and referral in retinal disease”,Nature medicine,vol.24,September 2018,pp.1342-1350

ディープマインドが開発したAIは、2種類のAIを組み合わせて構成されている。一つは、病状が表れていると思われる部分を指し示すAI。対象となる画像に映っているどの部分に異常があるのかを特定する。もう一つは、検知結果を基に眼の疾患を診断するAI。可能性が高い疾患名を複数示し、それぞれの診断の精度をパーセンテージで示す。1つめのAIの結果から、画像中のどの部分に注目して病名を判断したのかが分かる。このAIでは、診断そのものはあくまでも医師が下し、AIは医師の見逃しを防ぎ、確かな判断を下すための材料を提示する役割に徹している。最終的な説明責任は、常に医師にある。

判断対象のデータの属性による判断結果の偏りを見える化

次の例は、開発者も意図していなかった偏った判断をAIが下していないか検証し、さらに判断の根拠も提示できるXAI「IBM Watson OpenScale」である。ローンの審査や人材採用の支援などへの応用が想定されている。こうした応用でも、判断の根拠の明示が欠かせない。偏った教材データで学習したAIでは、不公平な判断を下す可能性があったり、審査を通過しなかった人から理由を求められたりする可能性があるからだ。

IBM Watson OpenScaleでは、判断対象となったデータの属性と判断結果を対照させて、どのような偏りがあるのか可視化する（図5）。ただし、この時点で偏りが見られたとしても、AIが不公平な判断を下しているとは言い切れない。例えば、銀行の住宅ローンの審査では、年収や勤続年数の違いによって融資適格と判断された割合が変わったとしても、それは正当な偏りであると言える。ただし、女性の方が男性よりも融資適格とされた割合が多ければ、検証が必要だ。一般に、男性の方が平均収入が高く、勤務先での勤続年数が長い傾向があるのは事実だ。このため、AIの学習に用いた教材データにも、こうした傾向が反映されている可能性がある。だからといって、女性であるという属性だけを参照して、厳しい判断を下すAIに育ってしまったら問題だ。性別ではなく、年収や勤続年収に注目して審査する公正なAIに育っていることを確認する必要がある。

［図5］IBM Watson OpenScaleの可視化例
判断対象のデータに含まれる年齢属性と判断結果であるローン審査の可否結果を対照させて偏りを見える化した。
出典：IBM「IBM Cloud Watson OpenScale」ホームページ

こうしたケースにおいて、IBM Watson OpenScaleでは、判断対象のデータに含まれる属性情報のうち、性別の部分だけを変えて判断結果がどのように変わるのかを調べる。そして、AIが性別で審査結果を変えているのか、それとも別の要因で結果に差異が生まれて一見女性が不利であるかのように見えているだけなのかを検証する。