社会を驚愕させたChatGPTなどの生成AIを生み出した、進化版ディープラーニング技術「基盤モデル」とは後編

材料開発の知識体系は、基盤モデルの適用に向いている

── とても幅広い分野への応用が可能なのですね。

武田 ── 新素材の発見を加速するために利用する試みもあります。新材料の発見にAIやクラウドなど最新の情報処理技術を活用するマテリアルズ・インフォマティックス（MI）の領域では、基盤モデルを作る取り組みをIBMリサーチが進めています。素材開発や医療での創薬などの領域で、開発速度を数十倍から百倍に速める大きなインパクトをもたらす可能性を秘めた取り組みです（図5）。

MIにディープラーニング・ベースのAIを応用する際、これまでは、ポリマーの融点を予測するモデル、LEDの材料を評価する専用モデルといった個々の材料や目的ごとに細分化したAIモデルを作る必要がありました。そして、それぞれのモデル作りで、個別に学習用のデータを用意する必要がありました。

こうしたモデルは、材料の研究者の知識を集約したものなのですが、各研究者が解析や判断で利用している知識は、特定の材料の種類や注目する項目に固有の知識ばかりではありません。共通知識が意外とたくさんあるのです。材料の知識体系は、物質の性質の根幹部分は量子力学のシュレディンガー方程式など共通の理論で表されており、そこで得られた知見を特定領域に応用することで、半導体やポリマーなど、それぞれの分野での材料特性に関する知識が出来上がっています。こうした知識体系の中で、材料研究の基礎知識に相当する部分を学習させた基盤モデルを作っておけば、さまざまな材料開発のシーンに適用できます。個々のモデルを少量のデータで学習できるなど、個別に最初から作るのに比べれば、比較にならないほど、モデル作成が効率化するのです。そこで私たちは、国内外の材料メーカー様と共に共同研究を進めています。

── 日本には有力な材料メーカーが多く存在しますから、次世代ビジネスに欠かせない開発基盤になりそうです。

武田 ── その通りです。現在、IBM東京基礎研究所が中心となって、MIの分野では世界最大となる数百億パラメータ規模のモデル作成へ向けて研究開発を進めています。それを、ポリマーの専門家や有機LEDの専門家などがファインチューニングして利用できる環境を整えています。さらに、あたかも研究者がホワイトボードにスケッチしながら議論するような感覚で、対話形式で基盤モデルを利用できる、マルチモーダルな対話型インターフェースを作成しています。これにより、MI技術に新たなユーザー体験をもたらすことが可能となります。

学習処理には、最新GPU 1000個以上の性能が必要

── 基盤モデルの学習や利用時の推論処理などには、どの程度のコンピューティング・パワーが必要になるのでしょうか。

千葉 ── これまでのディープラーニングでは、GPUなどアクセラレータを1個、2個、3個といった規模で利用し、学習処理していました。これが基盤モデルになると、モデル自体のサイズが10億や100億、1000億パラメータと巨大化してくるため、1個のGPUで処理することはとてもできなくなります。学習処理には、ざっくり見積もって、最新のGPUを1000個以上利用し、数カ月間回し続ける必要があります（図6）。

実際には、モデルを小さくする工夫を施して100個単位のGPUで処理可能にして利用することになりますが、それでも既存のディープラーニングの学習環境に比べればケタ違いの性能が必要になるのは確かです。また特定タスク向けにAIモデルを最適化するためのファインチューニングでも、基盤モデルを作るのに比べれば処理時間ははるかに短いのですが、同様の高性能が必要です。こうした高性能を実現するコンピュータを企業が保有し、自社で学習するためには、巨額の費用が必要になってきます。

一方、推論処理では、処理のリアルタイム性が求められます。GPUで処理する場合、約10個相当の性能が必要になります。ここでも、AIモデルを小さくする、浮動小数点演算の精度を落とすなどの工夫をして利用することになるでしょう。

基盤モデルの適用によって、データの収集・学習での人間の作業は劇的に効率化されるのですが、半面、コンピュータにはとてつもなく大きな性能が求められます。そして、現状のディープラーニングに比べると、学習や推論の処理に要するコストが高くなるうえに、消費電力も増大することになります。

基盤モデルの整備は、企業競争力の源泉に

── 基盤モデルを作っておけば、多様なタスクに向けたアプリケーションを効率よく開発できるということですが、基盤モデルはどのような単位で作り、共有活用することになるのでしょうか。

倉田 ── 例えば、自然言語処理に関連したタスクならば、すべてカバーできるような極めて汎用性の高い基盤モデルを作り、社会全体で共有できれば理想的です。実際には、各企業で基盤モデルを用意することになると考えています。

小原 ── 企業が行うビジネスでは、社外に持ち出したくないデータ、出してはいけないデータを大量に扱っています。こうしたデータの秘匿性という観点からも、社会全体で基盤モデルを共有することは考えられません。

── すると、これから何らかの情報を扱うビジネスを営む際には、いかに他社と差異化できる基盤モデルを企業資産として保有しておくかが重要になりそうですね。ところが、学習や推論の処理に必要なコンピューティング・パワーを考えると、とても企業が保有できるような情報処理システムにはならないように思えます。どのようにこのジレンマを解消するのでしょうか。

小原 ── ハードウェア面では、基盤モデルの処理向けに最適化した半導体チップを設計することで、より少ない消費電力で高性能な演算を実行できるように進化する余地が残されていると考えています。現在、ディープラーニング関連の処理に利用されているGPUは、元々はグラフィックス処理向けに開発されたチップです。また、より汎用性を高めるために、CPUのようにプログラムを容易にする構造を採用しています。このため、基盤モデルの学習や推論に最適なチップではないのです。また、現在のコンピュータでは、メモリーと演算器をそれぞれ別チップに収めて、データをメモリーから演算器へと逐一ロードしながら計算しているため、電力効率を高めるのが困難な状況です。そこでこの問題を解決しようと、メモリーと演算器を融合させてデータ移動をなくし、電力効率を向上させる研究も行われています。

千葉 ── 私たちは、AI関連処理に特化したスーパーコンピュータ「Vela」をクラウド上に導入し、それをユーザー企業が共有することで、それぞれの企業が独自の基盤モデルを学習させることができる体制を提供していきます。

推論では、企業の外に出せないデータを扱うことが多いため、オンプレミスでの運用を考える必要があります。ただし、ここでも現存するものよりも高性能なコンピュータが必要になるため、大型汎用コンピュータ（メインフレーム）やアクセラレータを搭載したシステムの利用が大事になってきます。ここでは、オンプレミスとクラウドを組み合わせた、ハイブリッドなシステム構成が必要になってくると考えています。

正しく、著作権に注意を払った学習データを収集

── 基盤モデルを学習させる際、データの収集や学習などで、従来のディープラーニングとは異なる留意点はありますか。

倉田 ── 従来のディープラーニングでは、学習データへのラベル付けが必須でした。これに対し、基盤モデルの学習では、まずは大量にデータを収集することが何より重要になります。ただし、データのクオリティ、正確さには気を配る必要があります。さらに、データの出どころ、特に権利関係に十分な注意を払うことも大切です。

日本では著作権法第30条の4において、2018年の著作権法改正により AIなどの開発過程で既存の著作物を無許諾で収集・利用することが原則として合法になりました。しかし、昨今の生成AIは、改正時点で想定されていなかった負の影響が顕在化してきているという懸念を、日本新聞協会が表明しています。世界的には、AI学習への著作物の利用にはもっと厳しい規制が掛けられているのですが、必ずしも適切に管理されたデータで学習されていないのではないかという指摘です。私たちは、明確に出自がわかり、できるだけ正確なデータだけを集めるようにしています。また、ヘイトスピーチ、バイアス、古い価値観など表現が適切ではないデータも、生成AIの学習には使わないようにしています。

武田 ── 例えば、材料開発用の基盤モデルを作る場合には、パブリックなデータ（特許、雑誌など）から自動的にデータを抽出し、それらから材料構造や物性値などを収集します。さらに、社内でシミュレーションなどを実施することで正しいデータを作って、基盤モデルを学習させています。一方、ファインチューニングをする際には、独立したユーザー環境で、各社様が保有しているデータにより学習していただいています。

基盤モデルをビジネスで利活用するためのプラットフォームを提供

── IBMでは、基盤モデルの活用を後押しするため、どのような取り組みをしているのでしょうか。

倉田 ── IBMでは、基盤モデルを顧客が効果的かつ効率的に利用できるようにするため、「watsonx」と呼ぶプラットフォームを発表しました。watsonxは、 基盤モデルの学習・ファインチューニング・推論を実行するための計算インフラを提供する「watsonx.ai」、権利上の問題がないデータと学習用データを管理する仕組みを提供する「watsonx.data」、モデルが壊れたり性能が低下しないといった不具合を防ぐためのアプリケーション管理システムを提供する「watsonx.governance」の3つで構成されており、ユーザー企業が基盤モデルを活用してビジネスで新しい価値を生み出していくための支援をしていきます。ただし、基盤モデルに関しては、私たち自身もまだ気づいていない潜在能力、効果的な利用法があると考えています。プラットフォームを提供することで、ユーザー企業をパートナーとして、新しい技術に関する理解を深めて、共創(co-creation)していこうとしています。

── 基盤モデルを、より気軽に活用して、ビジネスにイノベーションを生み出していける時代が近づいてきているように感じます。

小原 ── 生成AIが出力する情報を見て、AIに仕事を奪われるのではと危機感を感じる人が増えているかもしれません。私たちは、AIを“民主化”し、ユーザーが自らの手でコントロールし、新しい価値の創出に役立てることができる仕組みを提供していきたいと考えています。

Profile

倉田 岳人（くらた がくと）

日本IBM 技術理事
東京基礎研究所
AI Technologies担当シニア・マネージャー

2004年東京大学大学院情報理工学系研究科修了。同年、日本IBM入社。以来、同社東京基礎研究所にて、音声言語情報処理の研究に従事。2013年東京大学より博士号取得。現在は技術理事、東京基礎研究所AI Technologies担当シニア・マネージャーとして、音声認識、自然言語処理の基礎研究、および国内外事業部門との協業を推進。IEEE SLTCメンバー。IEEE、情報処理学会各シニア会員。博士（情報理工学）。

武田 征士（たけだ せいじ）

日本IBM 東京基礎研究所
Accelerated Discovery担当
プリンシパル・リサーチ・サイエンティスト兼グローバル・チームリーダー

2010年慶應義塾大学大学院理工学研究科博士課程修了（工学博士）。同大学院特任助教、エコール・セントラル・リヨン客員研究員を経て、2012年日本IBM東京基礎研究所に入社。現在、IBM Researchの戦略組織Accelerated Discoveryのグローバル・リーダーシップチームに所属し、マテリアルズ・インフォマティクス（MI）用基盤モデルの研究開発リードを担当。国内外のMIに関する協業案件を多数手掛ける。

千葉 立寛（ちば たつひろ）

日本IBM 東京基礎研究所
Hybrid Cloud担当
シニア・テクニカル・スタッフ・メンバー兼マネージャー

2011年 東京工業大学 情報理工学研究科 数理・計算科学専攻 博士課程修了。博士（理学）。同年、日本IBM東京基礎研究所に入社。以来、同社東京基礎研究所にて、ハイパフォーマンス・コンピューティングやビックデータのための大規模並列分散処理基盤やクラウドインフラストラクチャ、並列分散プログラミング言語の研究開発に従事。近年は、クラウドインフラストラクチャおよびAIアクセラレータを用いてAIモデル実行を最適化するシステムソフトウェアに関する研究を行っている。

小原 盛幹（おはら もりよし）

日本IBM 技術理事
東京基礎研究所副所長
Chief Software Engineer for Hybrid Cloud on IBM Hardware

1986年に東京大学工学部を卒業し、日本IBM東京基礎研究所に入社。1996年米国スタンフォード大学にてPh.D. (Electrical Engineering) 取得。2021年にIBM技術理事、2022年に東京基礎研究所副所長に就任。メインフレームやAIアクセラレータなどのハードウェアによる差別化を実現するソフトウェアシステムの研究を行っている。

Writer

伊藤 元昭（いとう もとあき）

株式会社エンライト 代表

富士通の技術者として3年間の半導体開発、日経マイクロデバイスや日経エレクトロニクス、日経BP半導体リサーチなどの記者・デスク・編集長として12年間のジャーナリスト活動、日経BP社と三菱商事の合弁シンクタンクであるテクノアソシエーツのコンサルタントとして6年間のメーカー事業支援活動、日経BP社 技術情報グループの広告部門の広告プロデューサとして4年間のマーケティング支援活動を経験。

2014年に独立して株式会社エンライトを設立した。同社では、技術の価値を、狙った相手に、的確に伝えるための方法を考え、実践する技術マーケティングに特化した支援サービスを、技術系企業を中心に提供している。

URL: http://www.enlight-inc.co.jp/