未来型AIチップ「イン・メモリー・コンピューティング（IMC）」とは

AIの応用領域の拡大と多様な作業・業務への普及が、ますます加速していくことを背景にして、AI関連処理を実行するコンピュータや、それを構成する半導体には、さらなる技術の進化を目指した莫大な研究開発資金が投じられるようになった。そして、AI関連処理により最適化したGPUを含む既存の半導体チップとは異質なAIチップの研究開発が盛んに進められるようになった（図1）。さまざまなアプローチから新型AIチップの提案があるが、近年、特に注目が集まっているチップがある。「イン・メモリー・コンピューティング（In Memory Computing：IMC）^*1」と呼ぶ新たなハードウェア構成を採用したチップである。

インメモリーコンピューティング（IMC）とは何か？

IMCとは、メモリーチップ内部のデータ蓄積用素子（メモリーセル）に隣接するように、演算器を分散配置した構造を採用した情報処理チップのことを指す。既に、IBM（アメリカ）やNECなど国内外のIT企業、さらにはIntel（アメリカ）やSamsung Electronics（韓国）、ルネサスエレクトロニクスなどの大手半導体メーカー、多くの大学・研究機関が、それぞれ特徴のあるIMCの構造を考案し、実用化を目指して技術の研究開発を進めている（図2）。

現在のアーキテクチャとIMCチップの違いとは

現在のコンピュータは、そのほぼすべてがフォン・ノイマン・アーキテクチャ（ノイマン型アーキテクチャ）と呼ばれる基本構造に基づいて作られている。データやプログラムを蓄積するメモリーと、命令に沿ってデータを処理する演算器を個別に用意し、それぞれの間で必要に応じて命令やデータの読み出しと書き込みを行いながら指定した演算処理を実行する仕組みである。プログラムを書き換えれば同じハードウェアを多様な用途に利用できる、既存コンピュータの高い汎用性は、ノイマン型だからこそ実現できる特徴だった。GPUを利用して構築するAIシステムもまた、ノイマン型に分類される従来コンピュータの一種である。

使い勝手のよい特徴を多く持つノイマン型ではあるが、この構造の肝になるメモリーと演算器をつなぐバス（配線）が、高性能化と低消費電力化を阻むボトルネックになってしまう欠点を抱えていた。しかも、AI関連処理の過程では、このバスを介して莫大な数のデータ転送が発生するため、ノイマン型固有のボトルネックが顕在化しやすかった。ニューラルネットワークや機械学習の演算で消費する電力の内訳を調べると、演算器そのもので消費している電力よりも、バスでのデータ伝送で消費される分の方が200倍も多いとする検証結果も報告されている。

これに対しIMCでは、演算対象になるデータと、演算後のデータの格納先が隣接または一体化しているため、ノイマン型に見られるバスを介したデータ伝送でのボトルネックが解消する。そして大量のメモリーセルを超並列動作させることによって、演算能力の向上と消費電力の削減の両方に大きな効果が期待できる。IMCのような、演算時にデータを外部メモリーから読み出す必要がない構造は、非ノイマン型アーキテクチャと呼ばれている。

なぜ今、IMCが期待されているのか

現在、多くの企業がIMCの研究開発に取り組んでいる背景には、AIチップの低電力化と高性能化を両立させるための特効薬が、既存技術の延長線上では期待できないことがある。しかも、このままAIの応用が拡大し、利用シーンが増え続けていくとAI関連処理を実行する際の消費電力の急増によって、電力網が破綻する可能性すらあると言う。

例えば、GPU最大手のNVIDIA（アメリカ）が2020年に発売した「A100」と呼ぶGPUは、最大熱設計電力（TDP）が500Wだった。これが、2022年発売の「H100」では700Wに、最新GPUでは1200Wにまで達している。既に、データセンターのサーバーラックでGPUなどをフル稼働させてAI関連処理を実行すると、住宅25件分に相当する電力を消費すると言われているが、今後さらに消費電力が増加する可能性が高い。

国際エネルギー機関（IEA）の試算によると、膨大な演算能力が必要となる生成AIの利用拡大を背景にして、世界のデータセンターでの2026年の消費電力は、2022年比で2.3倍増が見込まれ、日本全体の総消費電力量に等しいレベルになるとしている（図3）。現在、世界中が一丸となってカーボンニュートラル達成に向けた省電力化の取り組みを進めている中、突出して伸び率の高い電力消費先となっている。このままでは、いかにAIの活用が有用であっても、その利用を推進することができない。

また、半導体の微細加工技術の限界が間近に迫る中で、CPUやGPUの性能向上が困難になりつつある。その観点からも、IMCによるノイマン型のボトルネック解消に向けられている期待が大きい。

IMCに秘められた大きな可能性

ではAIシステムは、既存のシステム構成の維持にこだわらず最新技術を投入すれば、どこまで低消費電力化できる余地があるのだろうか。実は、その答えを誰でも容易に推定できる実証例が存在する。人間の脳である。人間の脳は、極めて高度で汎用性の高い知的処理が可能でありながら、その活動で消費しているエネルギーは電力換算で約20Wに過ぎないと言われている。つまり、約20Wという低電力で人間の知性に相当する情報処理システムを構成できる可能性があることは、実証されているのである。

そして、IMCの構造は、脳の構造に酷似していると言える。脳の知的機能を生み出すニューラルネットワークでは、記憶と処理（判断、知覚、感情など）の機能が物理的に一体化されている。要するに、ノイマン型ではなく、非ノイマン型である。そして、データの記憶と処理を一体化させたIMCチップの構造は、機械学習や深層学習などをベースとした近年のAIとの整合性が高い理に適った構造だと言えそうだ。AIの学習作業は、膨大なデータ1つひとつに特定の積和演算を実行しながら、ニューロン同士の結合の強さを表現した「重み」を逐次上書きしていく作業の繰り返しだからだ。

さらなる低電力化を目指して、アナログ技術復権の兆し

IMCチップ中のデータを記録するためのメモリーセルには、様々な種類のメモリー素子の適用が試されている。一度記録したデータを電力供給しなくても維持できる、相変化メモリー（PCM）や抵抗変化メモリー（ReRAM）、磁気抵抗メモリー（MRAM）など、不揮発性メモリー素子の適用例が多い。その他、電圧パルスの印加によるMOSトランジスタのしきい電圧（オンとオフが切り替わる）の変化などを利用する例もある。

従来のコンピュータと同様に、IMCチップにおいても、処理対象となるデータをデジタル的に表現することが可能だ。ただし最新の取り組みでは、データをあえてアナログ表現にして、さらなる低電力化を図る研究開発が盛んに進められている。

アナログ方式のIMCでは、半導体材料の特性と電流・電圧の原理に基づく物理現象を利用してニューロン処理を再現する。一般に、同じ数値のデータを記憶または処理する場合、デジタル表現したものよりもアナログ表現したものの方が必要な回路の規模が小さくなる。ひいては消費電力も低減できる。ただし、記憶や処理の精度は、ノイズの影響を受けにくいデジタル表現の方が高い。AIの応用には、画像や音声の認識など、厳密なデータ処理が必ずしも求められていないものも多い。こうした応用では、低消費電力化によってエッジ側で利用が容易になるアナログ方式のメリットが際立つ。また、現時点の技術では、AIの学習処理にアナログ方式のIMCを適用することは困難であり、専ら推論処理の低消費電力化に利用することが想定されている。

IMCに関する研究開発の成果

アナログ方式のIMCに関する、代表的な開発例を紹介したい。以下の2例は、いずれも研究成果が権威ある国際的な総合科学ジャーナルである「Nature」に掲載された、学術的価値からも応用時のインパクトが大きな事例である。

IBM（アメリカ）は、メモリー素子として3500万個のPCMを搭載した、アナログ方式のIMCチップを開発した（図4）。音声認識AIの推論処理などへの適用を想定したチップであり、既存のAIチップに比べて約14倍の電力効率を実現すると言う。

このチップに利用されているPCMのセルでは、電気パルスを印加することで材料がアモルファス相と結晶相の間で相が変化する。その際、低い電気パルスを印加すると抵抗値が小さくなり、高いパルスでは抵抗値が大きくなる。印加する電気パルスの高さを制御することで、抵抗値を任意に変えることが可能であり、この抵抗値でシナプスの重みを表現する。

試作したチップには、最大1700万個のパラメーターを持つAIモデルを実装できる。最新の生成AIモデルの規模と比べれば不足する規模だが、このチップを複数個組み合わせることで、実際のユースケースに適用可能である。既に、合計5つのチップ上にある1億4,000万個のPCMデバイスに4500万個の重みを記憶し、デジタルのハードウェアに非常に近い精度で、人が話している音声を取り込み、書き起こすことが確認できている。また、チップの集積度を高めれば、今後さらに高性能化できる余地がある。IBMは、生成AIの基盤モデルを、アナログ方式のIMCに実装することを想定している。

［図4］IBMが開発したアナログ方式のIMCチップの構成と試作チップ

出典：Ambrogio,S.,Narayaman,P.,Okazaki,A. et al. An analog-AI chip for energy-efficient speech recognition. Nature 620, 768-775（2023）.

一方、Samsung Electronicsは、MRAMベースのアナログ方式IMCチップを試作した。メモリー素子としてのMRAMは、他方式に比べて、動作速度、耐久性、大規模生産への適性などの点でメリットがある。その一方で低抵抗化が困難なことから、これまでは低消費電力化には不利とされていた。Samsungでは、電流の合計値でアナログ表現のデータを扱っていた従来のIMCの仕組みから、抵抗の合計値でアナログデータを扱う仕組みに代えることで、課題を解決。手書き数字の分類で98％の精度を達成し、顔検出でも93％の精度を実現した。

Samsungグループは、アナログ方式のIMCチップの構造が生物の脳の仕組みと似ていることから、生物の脳の機能を外部にダウンロードして模倣するための基盤として利用できることも示唆している。将来的には、この技術を発展・進化させることで、生き物の脳の機能や特性を写し取った仮想的モデルを作り出すことが可能になるかもしれない。

ノイマン型とデータのデジタル表現という現代のコンピュータの基礎となる部分を刷新するIMCは、コンピュータの技術開発トレンドの変曲点となりえる大きな動きである。そこでの技術開発と応用開拓の進展は、今後のICTや半導体の分野に大きな変革をもたらすことになるだろう。

Writer

伊藤 元昭（いとう もとあき）

株式会社エンライト 代表

富士通の技術者として3年間の半導体開発、日経マイクロデバイスや日経エレクトロニクス、日経BP半導体リサーチなどの記者・デスク・編集長として12年間のジャーナリスト活動、日経BP社と三菱商事の合弁シンクタンクであるテクノアソシエーツのコンサルタントとして6年間のメーカー事業支援活動、日経BP社 技術情報グループの広告部門の広告プロデューサとして4年間のマーケティング支援活動を経験。

2014年に独立して株式会社エンライトを設立した。同社では、技術の価値を、狙った相手に、的確に伝えるための方法を考え、実践する技術マーケティングに特化した支援サービスを、技術系企業を中心に提供している。

URL: http://www.enlight-inc.co.jp/