AIデータセンター性能向上の鍵は「CPO」光電融合の最前線

CPOとは、電気信号を制御する電子素子と光信号を伝送する光素子を1つのパッケージの中に集積し、電気信号と光信号の間を相互変換する技術のことである。CPOを適用した次世代ネットワークチップは、米国のNVIDIAやBroadcomなどから続々と市場投入され、その適用範囲はGPUやCPU、さらには多様な応用機器に組み込むSoCなどへと拡大していく見込みである。

情報通信技術の新潮流、電気ではなく光でデータをやり取りできる領域を拡大

これまでの半導体チップは、撮像素子やLED、光センサーなどの映像や光を直接扱う一部のチップを除き、もっぱら電気電子工学の範疇に属する技術を組み合わせて開発されてきた。ところが将来を見据えて、チップをさらに進化させていくためには、別領域の技術体系である光学の知見を駆使した技術革新が不可欠になってきている。CPOは、「光電融合」と呼ばれる、こうした大きなトレンドの中で開発・応用が進められている技術である。

ICTシステムの中では、処理・蓄積・通信するデータの内容を、電気信号もしくは光信号いずれかの媒体で表現している。一般に、電気信号で表現されたデータは、内容を精緻に調べたり、加工・処理・制御したりするのに向いている（図2）。ところが、遠距離間での高速・大容量の通信（インターフェース）では、消費電力や遅延の増大を招きやすい。これに対し、光信号で表現されたデータは、遠距離間での高速・大容量・低遅延の通信に向いている。こうした特徴の違いから、ICTシステムでは、システム内で目的に応じて電気信号で表現する領域(電子回路、Electronic Integrated Circuit：EIC)と光信号で表現する領域 (光回路、Photonic Integrated Circuit：PIC)を適切に分別し、相互連携する構成を取っている。

そして現在、ICTシステムは、これまで電子回路で実現していた機能を、段階的に光回路へと転換していく必要性が出てきている。やり取りするデータの量が増え、速度も高まり、それに伴って通信での消費電力や遅延の増大がシステム全体の性能や価値に大きく影響するようになったからだ。さらに、データセンター内のサーバー、および、その中のGPUやCPUは、それぞれの中で個別に動作するのではなく、膨大な数のチップの間で高速・高頻度・大容量の通信をしながら大きな情報処理を実行するようになった。近年のAIクラスターの中には、10万個以上のGPUを、数百Tbpsクラスのスピードのスイッチで相互接続したものが登場してきている。そして、GPU自体の性能が急激に向上し、GPU間の通信量も爆発的に増大。通信速度の高速化と大容量化が求められるようになった。こうした規模になると、個々のチップの演算性能よりも、チップ間・基板間・ラック間での通信における消費電力や遅延などがシステム性能のボトルネックになる（図3）。

AIデータセンターでは、通信が性能・消費電力改善のボトルネックに

CPOは、半導体チップを封止しているパッケージ内に光通信機能を導入し、物理的に近い場所、言い換えれば電気信号による通信を最小限に抑えることを狙った技術である。

最先端のICTシステムの一例として、AIデータセンターに注目する。データセンター間や、データセンター内のラック間、ラック内のサーバー基板間の通信は、すでに光信号でやり取りするようになった。ただし、直近では、サーバー基板上に実装したGPUやCPU、通信処理を実行するスイッチASICの間では、電気信号でデータをやり取りしている。そして、各基板上に光トランシーバー（着脱式光モジュールなど）を置き、そこで基板内で扱っていた電気信号を光信号に変換（光電変換）し、基板外部につないでいた。このため、基板上の数cm〜数十cmオーダーの距離の通信を電気信号でやり取りしていた。

高速な電気信号を長距離で引き回すためには、信号劣化を補正するためにDSP（通信プロトコル処理用チップ）やリタイマー（信号の歪みなどを整えるチップ）、SerDesチップ（パラレル通信とシリアル通信を相互変換するチップ）などの導入が必要になる。そして、それらにおいて消費電力や遅延が急増してしまう。AIデータセンターでは、GPUチップなど演算処理そのものでの消費分を除いた、通信に付随する部分の消費電力だけで数MW規模になることがあるという。また、電気信号のまま膨大なデータを高速伝送すると、伝送路上の基板配線やコネクタなどでの信号劣化が大きくなる。近年、サーバー基板上のデータ通信には、データ伝送速度が112Gbpsや224GbpsのPAM4（4つの電圧レベルで一度に2ビット分の情報を伝送するパルス振幅変調技術）といった高度な通信技術が適用されるようになった。高周波での伝送では伝送距離が長いほど損失が増大し、複雑な変調技術を導入するほど損失の影響が大きくなる。

CPOでは、光エンジンを物理的にチップのすぐ近く、約数mmオーダーの場所に置くことで、電気信号による通信の距離を最小化する（図4）。ここでいう光エンジンとは、電気信号を光信号に変える送信部、逆に光信号を電気信号に戻す受信部で構成されたトランシーバーのことである。光エンジンは、レーザー光源、光信号の強度や位相を制御する変調器、フォトディテクター（光センサー）、光導波路、光ファイバー接続用コネクターなどで構成されている。

CPOを適用して電気通信の距離を最小化することで、単位消費電力当たりの通信性能（伝送速度や遅延）を改善できるようになる。また、帯域密度の、さらなる向上も可能になってくる。近年のAIクラスターでは、800Gbps、1.6Tbps、さらに、それを上回る高速通信が求められるようになった。着脱式光モジュールのポートをサーバー前面のパネルに大量に並べる方式には物理的限界がある。CPOならば、チップ周囲に多数の小型光エンジンを配置することができるため、より高密度なI/Oを実現しやすくなる。

CPO対応チップが続々登場、適用領域も拡大

現時点でCPOの適用が最も期待されているのが、入出力の通信帯域が極めて大きいAIデータセンター向けのネットワーク・スイッチ・チップである。

CPO対応のネットワーク・スイッチ・チップが、続々と市場投入されていく（図5）。NVIDIAは、最大409.6Tbpsの帯域を実現したスイッチ・チップ「NVIDIA Spectrum-X Ethernet Photonics（以下、Spectrum-X）」を2026年後半に投入する予定である。従来ネットワークに比べて、電力効率を5倍に向上できるとしている。Spectrum-Xは、AIデータセンターに投入する次世代GPUプラットフォームである「Vera Rubin」に採用される。一方、Broadcomは2025年に102.4Tbps級のスイッチ・チップ「Tomahawk 6–Davisson」を投入済である。

このほかにも、米国のIntel、AMD、Marvell Technology、IBM、Cisco Systemsなどが、製品化を念頭に置いたCPO対応チップの技術開発を進めている。CPOは、データセンター向けだけでなく、まもなく通信ルーター用ASICにも導入される方向である（図6）。データセンター間、ラック間などをつなぐ通信ネットワークは、伝送路自体は光ファイバーでつながれているが、通信機器の内部では複雑な通信プロトコル処理を行うため、電気信号を扱っている。通信中に何度も経由する通信機器内で、消費電力や遅延の増大が発生する可能性があるため、改善に向けたCPOの適用が進む見込みだ。

また、将来的にCPOは、演算処理を実行するあらゆるチップ間の通信の、ほぼ全てを光化する方向へと展開されるとみられている。まず、それほど遠くない将来に、GPUを含むAIアクセラレータや大規模分散コンピューティング向けのCPUへの適用が進みそうだ。さらに、チップレットを利用して、インタポーザ上で大規模SoCを構成する際のチップレット間接続の光化も検討されている。そして、長期的視野からは、演算エンジンに付随して利用されるHBMなどのメモリーに導入するための技術開発も進められている。こうした動向を背景に、ファウンドリーである台湾のTSMCではCPOの技術開発と製造体制の整備が積極的に進められている。ちなみにBroadcomのTomahawk 6–Davissonは、TSMCが製造している。

思った以上に難しい電気回路と光回路の1パッケージ化

CPOのコンセプトは、電気信号を扱うチップのなるべく近くに光電変換機能を持つ光エンジンを置くという極めて単純なものだ。しかし、電気回路と光回路を一体設計・一体製造し、安定的に利用できるようにするためには、コンセプトの単純さとは裏腹に、難しい課題を解決する必要がある（図7）。

第1に、熱設計が難しい。基板内の通信が集中することになる光エンジンは、1.6Tbpsクラスにもなると1ポート当たりの消費電力が数十Wになり、発熱を抑えるための冷却が難しくなる。消費電力や発熱量そのものはGPUなどの方がはるかに大きいが、一般に光デバイスは高温に弱く、出力低下や波長のずれが発生し、劣化の加速も招きやすい。特にシリコンフォトニクス（シリコンプロセスで微細な光導波路などを形成する技術）で作る微細な光変調器やレーザー光源などは温度に敏感だ。このため、安定動作が困難になる。また、近隣に置かれるスイッチ・チップやGPUなどの発熱も大きく、その影響を考慮した設計・製造が求められる。光変調器の設計では、周辺温度を安定させる技術の適用に加え、温度が変化しても特性を追随させることが可能な技術の導入が進められている。具体的には、光変調器近くにマイクロヒーターを置いて、リング温度を微調整して共振波長を合わせる技術の適用などが検討されている。

第2に、保守性を高めることが難しい。基板間の光通信で利用されている従来の着脱式光トランシーバーならば、故障したら比較的容易に差し替えることができる。しかし、CPOでは光エンジンがパッケージや基板上に密に統合されるため、交換が難しくなる。このため、光トランシーバーを構成する、どの部品をパッケージ内に入れ、どこを着脱可能に残すかが重要な設計テーマになっている。近年はレーザー光源をASICパッケージ内に入れず、外部レーザー光源として分離する方式の採用が有力になっている。レーザーを交換可能な外部モジュールにして、CPOパッケージ側には光変調器、フォトディテクター、光導波路などを置く。レーザー光源を高温になるチップの近傍から離しておけば、波長のずれ、効率の低下、寿命劣化を抑えやすくなる。また、レーザー故障時にCPOパッケージ全体を交換しなくても、外部のレーザー光源だけを交換できるようになる。

第3に、製造・検査が難しい。技術体系の異なる電子回路と光回路を一体で高歩留まりに作る必要があるのだが、従来の半導体パッケージでは考慮しなかった光結合損失、ファイバー位置ずれ、温度依存、光部品故障、パッケージ後テストの手法が十分こなれた状態にはなっていない。このため、パッケージング後のテスト、光結合の精度、ファイバー接続の信頼性などの精緻な検証が難しい。それぞれの回路を構成する要素の全部を一体化してから検査するのではなく、検査済みの部品を段階的に組み上げる方向で解決策が検討されている。歩留まり低下を分解して管理することがポイントになる。

半導体パッケージの外見と求められる技術が大きく変わる可能性

半導体パッケージといえば、黒く四角い板片の下から数多くの入出力ピンが出ている姿を思い浮かべる人が多いことだろう。これからCPOの適用対象が拡大してくるにつれて、この姿は大きく変わっていく可能性が高い。外部回路と電気信号をやりとりするためのピンが統合され、光ファイバーを接続する微細なコネクターがいくつかあるといった外見になりそうだ（図8）。

また、最先端のパッケージを設計・製造するためには、光回路と電気回路を融合させた設計・製造の知見とスキルが求められるようになる。半導体後工程の領域で、革新的技術を確立して存在感を高める新興企業が登場したり、後工程のエコシステムが変わるなど業界勢力図が変わってくる可能性もある。

Writer

伊藤 元昭（いとう もとあき）

株式会社エンライト 代表

富士通の技術者として3年間の半導体開発、日経マイクロデバイスや日経エレクトロニクス、日経BP半導体リサーチなどの記者・デスク・編集長として12年間のジャーナリスト活動、日経BP社と三菱商事の合弁シンクタンクであるテクノアソシエーツのコンサルタントとして6年間のメーカー事業支援活動、日経BP社 技術情報グループの広告部門の広告プロデューサとして4年間のマーケティング支援活動を経験。

2014年に独立して株式会社エンライトを設立した。同社では、技術の価値を、狙った相手に、的確に伝えるための方法を考え、実践する技術マーケティングに特化した支援サービスを、技術系企業を中心に提供している。

URL: http://www.enlight-inc.co.jp/