ボトルネック・ヒューリスティック——CPOの構造的課題、グーグルのOCS、ネットワークトポロジー Pt.4

光技術に対する懐疑論者だった。この姿勢は、光技術の根本的な欠陥というよりも、むしろ自社の技術的限界を反映したものだった。

多くの アナリストは単にジェンスン・ファンCEOの懐疑論を繰り返すだけだったが、エヌビディア（NVDA）の最も深刻なアーキテクチャ上の競合であるグーグル（GOOG）とHuaweiの2社は正反対の立場をとった。両社は、先端の光ネットワーキングを「必要悪」ではなく「核心的な戦略能力」として扱った。銅線中心のコンセンサスが時代遅れであることを示す最も明確なシグナルは、Huaweiが発表した「CM384」スーパーノードだった。これは光で相互接続されたシステムであり、エヌビディア（NVDA）の銅線ベースの「NVL72」ラックの性能を凌駕する現実的な道を示した。

エヌビディア（NVDA）の警戒には根拠がないわけではなかった。GH100時代、同社は256基のGPUを含む大規模なNVLinkドメイン（DGX H100 NVL256）を構築しようと試みた。このプロジェクトでは、必要な到達距離と密度を達成するために光インターコネクトが必要だったが、当時のエヌビディア（NVDA）にはその規模で光技術を確実に動作させるためのネットワーキングの深みが不足していた。

同社の内部評価は、主に3つの実用的な懸念に集中していた。

1. 光リンクは追加の故障ポイントを導入すること

2. これほど大規模なドメイン全体で前方誤り訂正（FEC）を管理することは、当時の同社のネットワーキング専門知識を超えていたこと

3. 光ソリューションは接続あたりに無視できない電力ペナルティを伴うこと

これらの光技術の課題に正面から取り組む代わりに、エヌビディア（NVDA）はアクティブ電気ケーブル（AEC）を介して銅線の寿命を延ばし、800Gに到達することを選択した。結果としてNVL256プログラムは最終的に放棄された。エヌビディア（NVDA）の誤りは、現実のエンジニアリング上の障壁を特定したことではなく、それらの障壁が光技術自体に固有のものであり、当時の自社の能力を反映したものではないと結論付けたことにあった。

1.3 光需要のスーパーサイクルは始まったばかりである

2025年を通じて、光接続に対する市場の需要予測は繰り返し上方修正された。1.6Tトランシーバーの受注残は約10倍に拡大し、需要は新規供給を上回り続けている。この急激な加速（すでに導入スケジュールを2〜3年引き上げている）にもかかわらず、光技術の普及率はまだ初期段階にある。

さらなる成長のための膨大な余地が存在し、それは基板内（intra-PCB）光インターコネクト（今後のレポートのテーマ）を含む、ほとんどの観察者がまだ想定していないユースケースにまで及んでいる。

次の導入フェーズにおける主要な制限要因は、コストと電力である。光技術がスケールアウト（横方向の拡張）ネットワーキングに有意義に拡大し、さらに重要なことに、スケールアップ（縦方向の拡張）ファブリックに初めて参入するためには、接続がより安価で、より電力効率が高くならなければならない。これらの改善が実現すれば、現在光技術のコストと電力ペナルティによって妨げられているアプリケーションのカテゴリー全体が実現可能になり、需要がさらに桁違いに増加すると予想される。これこそが、CPO対OCSの議論を見るべき正しいレンズである。

---

2. CPOの構造的課題とNPOという代替案

2.1 CPOが約束するもの

共同パッケージ光技術（CPO）は、光エンジンをスイッチASICのすぐ隣に配置することで、電力効率の大幅な向上を約束する。

従来のプラグイン可能な（プッラガブル）トランシーバーでは、光エンジンはスイッチのフロントパネルに位置し、ASICから約30cm離れている。この長い電気的経路は信号の完全性を維持するために電力を消費するDSPを必要とし、結果として800Gモジュールでポートあたり15〜25Wの消費電力を伴う。

電気リンクをわずか数ミリメートルに短縮することで、CPOはDSPの必要性をほぼ排除し、ポートあたりの電力を約4〜5Wに削減する。机上では、これはスケールアップおよびスケールアウトネットワークの両方で光技術のより広範な採用を可能にするために市場が必要としている、まさにコストと電力の画期的な進歩を表している。

2.2 CPOが容易な勝利とはならない5つの理由

実際には、CPOには5つの構造的課題があり、これらを総合すると、なぜ私たちがCPOのナラティブの多くを過大評価（ハイプ）と見なしているのかが説明できる。

#### ① ハイブリッドボンディングの歩留まり（イールド）問題

CPOは、複数のシリコンフォトニクス集積回路（PIC）を、単一の巨大な電子集積回路（EIC）（通常はスイッチASICそのもの）の上に直接ハイブリッドボンディングすることを要求する。これは、1基の巨大なスイッチダイと16〜32基の個別のPICダイを統合するという、必要な規模においては全く新しい製造プロセスである。この構成の大量生産を証明した者はまだいない。

TSMC（TSM）のCOUPEプラットフォームはすでに重大な技術的後退に直面しており、業界がパッケージあたり32基のPICを必要とする3.2Tクラスのスイッチに移行するにつれて、これらの困難は激化すると予想される。

PICのボンディングあたりの歩留まりが99%という楽観的な仮定を置いたとしても、複合歩留まりは急速に悪化する：

- PIC 16基：$0.99^{16} \approx 85.2\%$ のパッケージ全体歩留まり

- PIC 32基：$0.99^{32} \approx 72.5\%$ のパッケージ全体歩留まり

このレベルの歩留まり損失は、AIデータセンターの展開で要求されるボリュームにおいて、CPOの根本的なコストとスケーラビリティの障壁となる。

#### ② 高出力レーザーへのロックイン

CPOはプラグイン可能モジュールからパッケージへすべてを統合するが、モジュール性、保守性、製造性のためにレーザーは外部に保持する。その結果、厳しい仕様が課されることになる。外部の連続波（CW）レーザーは300mW以上を出力しなければならず、これはプラグイン可能モジュールで使用されるCWレーザーの約3倍の出力である。現在、この仕様で量産できるのはルメンタム（LITE）のみである。したがって、CPOを採用することは、ロックインが最も危険なコンポーネントレベルにおいて、サプライヤーへのロックインを深めることになる。

#### ③ InP（インジウムリン）の供給ボトルネック

業界全体でインジウムリン（InP）ウェハの生産能力が逼迫するにつれ、標準的なCWレーザーでさえ供給制約に直面している。多くのレーザーメーカーは現在、今日のプラグイン可能光技術で支配的なレーザータイプである電界吸収変調器集積レーザー（EML）に生産ラインを割いている。

この生産能力をCWレーザー（特にCPOに必要な高出力CWレーザー）に転換することは、サプライヤーにとって時間がかかり、コストもかかる。高出力CWレーザーはより大きなダイ面積を必要とし、歩留まりが低く、より複雑なプロセスを伴う。結果として、レーザーメーカーは標準的なチャンネルあたり200Gのレーザーよりも通常約5倍高い、大幅な価格プレミアムを要求する。このマージンはCPOモジュール開発者や光エンジンサプライヤーによって支払われなければならず、CPOが提供するはずのコスト優位性の多くを侵食する。

#### ④ 影響範囲（ブラスト・ラジアス）の問題

CPOの信頼性の経済性は、生産現場においては厳しいものである。光エンジンがスイッチパッケージに直接ボンディングされているため、単一のPICの故障によりパッケージ全体が使用不可能になり、修理もできなくなる。さらに問題を複雑にすることに、その共有アーキテクチャにより、1つのリンクの故障が隣接する最大15のリンクを巻き込んで停止させる可能性がある。対照的に、プラグイン可能設計では、影響範囲は単一のモジュールに限定され、システムの残りの部分を乱すことなく交換できる。

#### ⑤ 顧客側のロックイン

CPOは交渉力を顧客から遠ざけ、エヌビディア（NVDA）とブロードコム（AVGO）へと移行させる。現在、ハイパースケーラーや大口顧客は、価格、性能、供給に関して10社以上の独立したトランシーバーベンダーを競わせることができる。CPOは、支配的な2つのスイッチベンダーに供給を集中させることで、その交渉力をほぼ排除する。また、顧客に対して「スイッチ＋光技術」のシステム全体のバンドル購入を強制し、たとえそれらのコンポーネントが劣っていたり新しいリスクをもたらしたりする場合でも、提供される光コンポーネントとサプライチェーンを受け入れざるを得なくする。

2.3 NPO：90%のメリット、毒はゼロ

ニアパッケージ光技術（NPO）は、ほとんどの顧客にとってより現実的な道を示している。NPOは、高出力CWレーザーを必要とせずにCPOの電力効率向上の約90%を達成し、同時に安価で、市場投入が早く、採用と保守が大幅に容易である。

NPOは顧客の利益に合致する。CPOは主に、パワーを集中させバンドル購入を強制することでサプライヤーの利益に仕える。大口顧客は歴史的に、存立可能な代替案が存在する場合、この種の非対称性に対して反発してきた。

しかし、究極のアーキテクチャとしてのCPOに対するより強力な論拠は、NPO単独ではない。NPOが連携して機能するもの、すなわち光回路スイッチ（OCS）である。

---

3. OCSとグーグルのネットワーキング・アーキテクチャ

3.1 異なる哲学、より優れたパッチではない

グーグル（GOOG）は2020年にTPUv4システムで光回路スイッチングを先駆的に導入し、2022年までに社内インフラ全体に広く展開した。この技術は2025年までほぼ世間の目に触れることはなかったが、Blackwellと同等のチップ単体性能を持ち、エヌビディア（NVDA） GPUよりも実質的に優れた経済性を備えた「TPUv7」（コードネーム：Ironwood）の発表によって脚光を浴びた。これは、OpusやGeminiなどのモデルを含む、フロンティア規模の訓練および推論ワークロード全体で実証された能力を示した。

根本的なレベルで、CPOとOCSは光ネットワーキングをどのように処理するかについての異なる哲学を反映している。

CPOは既存の電気パケットスイッチから出発し、「どのようにしてそれをレーザーやファイバーにより効率的に接続するか」を問う。これは本質的にレトロフィット（後付けの改修）であり、電気スイッチの寿命を光の未来へと延ばそうとする試みである。

OCSはより基本的な問いから始める。「通過するデータがすでに光であるなら、なぜそれを電気に変換し、スイッチASICを通してルーティングし、再び光に戻す必要があるのか？」

信号が光として伝わる場合、本来のスイッチング要素はミラー（鏡）である。これは光線を単純に向き変えるアナログまたは機械的なデバイスであり、スイッチASICと「光→電→光（O-E-O）変換」のプロセス全体を排除する。

これは、既存の設計の最適化に汲々とするのではなく、第一原理からコアアーキテクチャを再導出するというグーグル（GOOG）特徴的なエンジニアリングアプローチを反映している。同じマインドセットがMapReduce、グーグル（GOOG） File System、BigTableを生み出した。結果として得られるシステムの優雅さも驚くには当たらない。OCSは伝統的な電気パケットスイッチングを光回路スイッチングに置き換えるが、ハイパースケールで高い性能と信頼性を提供するためには、依然として深いネットワーキングの専門知識が必要であり、ブロードコム（AVGO）は長年にわたりグーグル（GOOG）の最も緊密なパートナーの1つである。

電力とコストの利点は極めて大きい。OCSは光を受動的に反射するだけであるため、同様の電気スイッチラックが約6kWを消費するのに対し、わずか数百ワット程度しか消費しない。スイッチングダイやO-E-O変換が存在しないため、OCSはリンクの両端におけるPIC、レーザー、DSP、変調器の必要性を排除する。これによりコストと電力の両方が劇的に削減され、システム全体の効率が約2倍向上する。

3.2 ポッド内スケーリング：ポート数の数学

OCSに制限がないわけではなく、その第1はトポロジー的（幾何学的）なものである。グーグル（GOOG）のTPUスケールアップドメインは、専用のスケールアップスイッチを持たず、ICI（インターチップ・インターコネクト：グーグル（GOOG）独自のTPU相互接続）を介して直接通信する64基のTPUを含む「4x4x4 3Dトーラス」を使用する。この設計はローカルトラフィックに対しては非常に効率的だが、離れたTPU間の通信には中間チップを介した複数のホップが必要となり、これが遅延時間（レイテンシ）を増加させ、実効帯域幅を低下させる。

対照的に、エヌビディア（NVDA）の現在のラック内「NVLink/NVSwitch」アーキテクチャは、単一のラック内に完全な全対全（all-to-all）ドメインを作成し、すべてのGPUが中間ルーティングのペナルティなしに1ホップ（他のスイッチを経由しないダイレクト接続）で他のすべてのGPUに到達できる。この違いは、訓練および推論の双方で高ボリュームのall-to-all通信パターンに大きく依存するMixture-of-Experts（MoE）モデルにおいて、特に重大な影響をもたらす。このギャップがもたらす性能への影響については、次のセクションで詳しく説明する。

第2の注意点は成熟度である。OCSは切り替え遅延時間（レイテンシ）、挿入損失、信頼性、そして特にポート数において依然として遅れをとっているが、製造の準備性やコストの面ではCPOよりも明らかに良好な状態にある。

現在、ポート数はバインディング（拘束的）な制約となっている。今日入手可能な最高基数のMEMS OCS（ポート数が最も多いスイッチ）は「288×288ポート」を提供する。これが事実上、TPUv7ポッドのサイズの上限を決定している。

最大ポッドは、それぞれ64基のTPUを含む144台のキューブ（ラック）で構成され、合計9,216基のTPUとなる。各ラックは96基の光トランシーバーを使用し、これはトランシーバー対TPU比で1.5:1に相当する。ポッド全体でこれをスケーリングするには、13,824のOCSポート（96トランシーバー×144ラック）が必要となる。これは、各288ポートのOCSユニットが48台必要であることを意味する。各ユニットは288の入力ポート、288の出力ポート、および24の冗長バックアップをサポートし、結果としてユニットあたり600のファイバー接続が生じる。

先を見据えると、スイッチの接続数（ポート数、高ラディックス）を増やす必要性は明らかである。TPUあたりのスケールアウト帯域幅は上昇し続けており、これによりトランシーバー対TPU比は1.5:1以上に押し上げられ、同時にポッドサイズも成長すると予想される。その結果、576ポート以上をターゲットとする、MEMSおよび非MEMS技術の双方を使用したより多くのポート数を備えた（高ラディックスの）OCSが、すでに活発に開発されている。OCSの達成可能なポート数は、グーグル（GOOG）がこのアーキテクチャをどこまでスケールできるかを直接決定することになる。

3.3 DCNレイヤー：最上部まで貫かれたOCS

ポッドレベルの上位には、ICIとは別のネットワークであるグーグル（GOOG）のデータセンターネットワーク（DCN）が存在し、内部のバックエンドトラフィックと外部のフロントエンドトラフィックの両方を処理する。TPUv7（Ironwood）の場合、DCNは複数のポッドを接続して最大147,000基のTPUに達するクラスターを形成する。

注目すべきは、グーグル（GOOG）が光回路スイッチングをポッド内だけでなく、DCNのスパイン（背骨）レイヤーにまで拡張したことである。

ほとんどの従来のデータセンターネットワークは「リーフ・スパイン型クロー（Clos）アーキテクチャ」に従っており、そこでは電気パケットスイッチがサーバーや計算ユニットのグループを相互接続するスパインレイヤーを形成する。グーグル（GOOG）のアプローチはこのモデルから逸脱している。ポッドの接続に電気スパインを使用する代わりに、光で切り替えられる「データセンターネットワーク・インターコネクト（DCNI）」レイヤーを展開した。これは、従来の電力を消費する電気スパインスイッチを、ポッドを直接相互接続するOCSユニットのメッシュに置き換えるものである。

指針となる原則は、データをできるだけ長く光の領域に留めておくことである。これにより、光電変換を最小限に抑えることで遅延時間（レイテンシ）が削減され、ブロードコム（AVGO）やマーベル（MRVL）などのベンダーが提供する高出力のスパイン用シリコンの必要性が排除される。これはまた、グーグル（GOOG）の膨大な運用経験を反映している。同社は「Apollo」プロジェクトを通じて、2018年頃からデータセンタースケールで光切り替えファブリックを本番環境で運用しており、まだ評価段階にあるほとんどの競合他社に対して大きなリードを築いている。

DCNIのスケーリングの数学もポッド内レイヤーと同じパターンに従うが、より大きなスイッチを使用する。2022年当時、Apolloはそれぞれ4,096基のTPUからなるTPUv4ポッド用に「136×136ポート」のOCSを使用し、4つのゾーンにわたって合計256台のスイッチを展開していた。今日の最先端のMEMS OCSは「288×288ポート」に達しており、前述の通りこれがTPUv7のポッドサイズを事実上限界づけている。

Ironwood（TPUv7）において、グーグル（GOOG）は共同設計（コデザイン）を通じてこの限界をわずかに上回る「300×300ポート」のOCSユニットを実現した。同社は32台のラックにわたって256台のこのようなユニットを展開し、スパインレイヤー間でオーバーサブスクリプション（帯域の競合）が発生しないように維持している。最大クラスターは、4ポッドからなる4つの集約（アグリゲーション）ブロックを介して16のICIポッドを接続し、合計で $16 \times 9,216 = 147,456$ 基のTPUとなり、ポートあたりの帯域幅を最大化するためにFR光技術を使用している。

世代とレイヤーの双方を通じて一貫しているパターンは、拡張規模（スケール）がOCSのポート数（ラディックス）によって制限され続けていることであり、各世代の成長はスイッチの数を増やすことではなく、主に個々のスイッチのポート数を増やすことによって推進されている。

3.4 帯域幅の階層と並列化のマッピング

グーグル（GOOG）のネットワークは、レイヤー間に急峻な帯域幅の階層を作り出している。

単一のキューブ内では、TPUsはフルスケールのICIスケールアップ帯域幅で通信する。ポッド内のキューブ間では、トラフィックはポッド内のOCSファブリックを通過し、わずかな劣化にとどまる。ポッド間では、トラフィックはDCNの光で切り替えられるDCNIレイヤーを通過し、そこでのTPUあたりの帯域幅は、ポッド内OCSと比較して約1桁低下する。この階層構造により、物理的なトポロジーに対する並列化戦略の意図的なマッピングが強制される。

テンソル並列化（個々のレイヤーをチップ間で分割する）とエキスパート並列化（MoEモデルでトークンを異なるエキスパートサブネットワークにルーティングする）は、帯域幅が最も高い単一のキューブまたはキューブの小さなクラスター内に維持される。

パイプライン並列化（モデルを連続するレイヤーステージに分割し、チップ間に配置する）と、追加のエキスパートまたはデータ並列化は、OCSを介してポッド全体に拡張される。

各チップが完全なモデルコピーを保持し、異なるデータバッチを処理する「データ並列化」のみが、DCNを介してポッド間で実行される。データ並列化は主に、頻度が低く遅延時間（レイテンシ）を許容できる勾配の同期のみを必要とするためである。

グーグル（GOOG）の「Pathways」および「MultiSlice」ソフトウェアスタックは、まさにこの階層を管理するために特別に設計された。これは、各ポッド内でICIおよびOCSを介して勾配の削減（各デバイスで計算されたモデル更新シグナルの集約）を実行し、その大幅に削減された結果のみをDCNを介して送信する。これにより、ポッド間のトラフィックを十分に低く抑え、計算とほぼ完全にオーバーラップさせることができる。

このアプローチは実戦で証明されている。Gemini 1.0は、まさにこのスキームを使用して、複数のデータセンターにまたがる複数のポッドで訓練された。グーグル（GOOG）は、DCNがキャンパスおよびメトロの距離にまで拡張されるマルチデータセンター訓練ジョブを運用している。

3.5 モジュール性、回復力、そしてJupiterの実績値

グーグル（GOOG）の光DCN設計の大きな利点の1つは、そのモジュール性にある。Ironwoodクラスターは、初日からフルスケールで構築する必要はない。わずか1つまたは2つの集約（アグリゲーション）ブロックから開始し、需要の成長に合わせて新しいブロックを後から追加することができる。ネットワークが光スイッチングを使用しているため、容量を追加する際に既存のファイバーインフラを撤去して交換する必要がない。

伝統的なEPS（電気パケットスイッチ）のスパインは、この柔軟性を提供しない。それらは通常、容量が固定されているため、スケールアップするにはスパインレイヤー全体の高価で破壊的なアップグレードが必要になることが多い。グーグル（GOOG）の光アプローチは、段階的な成長をより実用的かつコスト効率の高いものにすることで、この問題を回避している。

グーグル（GOOG）の光設計は、システムに高い回復力（レジリエンス）ももたらす。制御ソフトウェア（「ブレイン」）が接続を失った場合でも、OCSスイッチはクラッシュしたりトラフィックをドロップしたりしない。代わりに、単に最後の設定を維持し、データを転送し続ける。これは従来のパケットスイッチの動作に似ており、制御プレーンの問題が発生している間もネットワークの稼働を維持する。

障害、トポロジーの変更、またはジョブのための新しい「スライス」の作成によるすべての再構成は、グーグル（GOOG）の「Orion」SDN制御プレーンによって自動的に処理される。エンジニアが手動でファイバーを接続し直す必要はない。実際には、キューブが故障した場合、トラフィックは光学的にその周囲を迂回してルーティングされる。予備のユニットをスワップインして、最後のチェックポイントから訓練を再開できる。ポッドは事実上「自己修復」する。

このセットアップはまた、グーグル（GOOG）に大きな柔軟性をもたらす。スケジューラは、ワークロードのニーズに応じて、ポッドを異なる形状とサイズ（例えば、こちらでは4x8x8構成、あちらでは8x8x16構成）に動的に切り分けることができる。これにより、ネットワーク全体で大幅に高い稼働率が達成される。

対照的に、エヌビディア（NVDA）の伝統的なInfiniBandおよびEthernetクラスターははるかに硬直的である。故障した1基のGPUやネットワークカードがノード全体を停止させることがあり、クラスターのレイアウトを変更するには通常、物理的な再配線が必要となる。

グーグル（GOOG）が公開した大規模な「Jupiter」光データセンターネットワークの実績値は、このアプローチを検証している。OCSを使用した場合、Jupiterは、既知の最良の代替案と比較して、フロー完了時間を10%短縮し、スループットを30%向上させ、消費電力を40%削減し、コストを30%低減し、ダウンタイムを50分の1に抑えた。

率直なトレードオフとして、このレベルの性能は、単に光スイッチを導入するだけで得られたわけではない。グーグル（GOOG）は、Orion制御プレーン、カスタム光コンポーネント（トランシーバーやサーキュレーター）、さらにはトラフィックパターンを、光スイッチングの特性に合わせて特別に共同設計するために約10年を費やした。これは従来のマーチャントシリコン Clos（クロー）ネットワークのような「ドロップイン」の代替品ではなく、それこそが、他のプレイヤーがこれを模倣することがほとんどできなかった理由である。

もしグーグル（GOOG）が、業界全体がCPOを成熟させるよりも早く、OCSのポート数と信頼性を向上させ続けることができれば、システムレベルでの約2倍の効率性の優位性は、エヌビディア（NVDA）の現在のアーキテクチャが最も露出しているまさにそのレイヤーにおいて、複利効果をもたらすことになる。

---

4. ネットワーク・トポロジーが最先端のMoEアーキテクチャをどのように決定するか

4.1 なぜDeepSeekはエヌビディア向けに最適化し、Geminiはトーラス向けに最適化するのか

各研究所がMoE（Mixture-of-Experts）モデルの設計において異なる選択をするのはランダムではない。それらは、基盤となるネットワークトポロジーによって強く形作られている。

DeepSeekスタイルのMoEは、トークンあたり8つ以上のアクティブ化を伴う、数百の小さなエキスパートと強力なエキスパート並列化を使用する。このアプローチは、エキスパート間でトークンを移動させること（all-to-all通信）が高速かつ安価であることを前提としている。

エヌビディア（NVDA）のNVL72ラックでは、実際にそうである。NVSwitchファブリックを介して、すべてのGPUが他のすべてのGPUにフル帯域幅の1ホップで到達できる。この環境では、各トランスフォーマーレイヤー内の主要な計算ブロックであるフィードフォワードネットワーク（FFN）を数百の小さなエキスパートに分割し、トークンをラック全体に散布しても、追加のオーバーヘッドはほとんど発生しない。

グーグル（GOOG）の3Dトーラストポロジーにおいて、同じパターンは極めて高コストになる。離れたエキスパートに送信されたトークンは、双方向で中間TPUを介した中間TPUを介して何度も転送（複数ホップ）しなければならない可能性がある。これがレイヤーごとに2回（フォワードとバックワード）発生するため、最も遅いトークンがテール遅延時間（レイテンシ）（最大遅延）を生み出し、バッチ全体の速度を低下させる。

TPUシステムにおける合理的な対応は、まさに私たちが実際に目にしているものである。「より少数の、しかしより大きなエキスパートを使用し、トークンあたりのアクティブ化率を高くし、エキスパートが単一のキューブまたはキューブの小さなクラスター内に留まるように慎重に配置する」ことである。これは、ネットワークの高速で低遅延時間（レイテンシ）な部分に留まることと引き換えに、いくつかの理論的なモデルの疎性（スパース性：必要な部分のみを稼働させて計算量を減らす設計）、ひいてはいくつかの計算効率を犠牲にしている。

同じ方向を指し示す第2の力は、計算ハードウェアそのものから来ている。TPUsは、巨大な収縮期マトリクス乗算ユニット（MXU）を中心に構築されている。このアーキテクチャは、大規模で高密度な行列乗算において極めて効率的であり、行列が計算パイプラインを通じてアレイ全体をビジーに保つのに十分な大きさである場合に最高の性能を発揮する。極小のエキスパートは極小の行列乗算を生み出し、これはMXUの利用率を低下させ、効率を損なう。

対照的に、GPUsは多くの小さなストリーミングマルチプロセッサ（SM）とテンソルコアを中心に構築された、より詳細なアーキテクチャを持っている。それらは小さな行列演算をよりエレガントに処理する。結果として、TPU側ではネットワーキングレイヤーと計算レイヤーの双方が独立してより大きな行列と粗いスパース性（必要な部分のみを稼働させる仕組みが比較的粗いこと、すなわち少数の大きなエキスパート）を好む。エヌビディア（NVDA）側では、双方のレイヤーがより小さな行列と細かいスパース性（必要な部分のみを稼働させる仕組みが細かいこと、すなわち多数の小さなエキスパート）を好む。

要するに、モデルアーキテクチャの選択は、基盤となるハードウェアによって強く形作られている。これが、フロンティア規模で展開されている「ハードウェアの宝くじ（Hardware Lottery）」である。

4.2 ネットワーク構成がもたらす影響（インプリケーション）

接続形態（トポロジー）がモデル設計を左右するという事実がもたらす影響は、多岐にわたる。

第1に、研究所間の効率の単純な比較は、見かけほど意味を持たなくなる。DeepSeekスタイルのモデルがGeminiやClaudeよりも優れたトークンあたりFLOPsの経済性を示すとき、そのギャップの知られざる部分は、純粋なアルゴリズムの優位性ではなくネットワークトポロジーに由来している。エヌビディア（NVDA）の完全なall-to-allファブリック向けに最適化されたモデルをトーラスベースのシステムに移植した場合、その優位性のいくらかは失われる可能性が高く、その逆もまた同様である。

第2に、これは時間とともに深まる強力な「相互ロックイン」を作り出す。研究所が行うすべての重要なアーキテクチャ決定は、その特定のネットワークファブリックと暗黙のうちに共同設計されている。トーラストポロジー向けに粗いMoEを改良することに数世代を費やしたチームは、蓄積されたノウハウをNVLスタイルのラックに容易に移植することはできず、逆もまた同様である。このダイナミクスは、TPUに対する需要（そしてエヌビディア（NVDA） GPUよりもTPUと設計DNAを共有するAmazonのTrainiumに対する需要）が実際にどれほど「粘着的（スティッキー）」であるかに大きく影響する。本当の堀（モート）はチップそのものではなく、モデルとインフラの長年にわたる共同設計にある。

第3に、そして今後の見通しにおいて最も重要なこととして、制約は双方の側で移行しつつある。グーグル（GOOG）の現在のポッドサイズの天井は、主にOCSのポート数によって規定されている。より多くのポート数を備えたOCSスイッチ（例えば、288ポートから576ポート以上への移行）は、より多くのラックとポッドを直接相互接続することを可能にする。これにより、追加のスイッチングレイヤーを必要としたり回線混雑（オーバーサブスクリプション）を発生させたりすることなく、以前の制限が緩和され、有意義に大きなスケールアップドメインが実現可能になる。

同時に、エヌビディア（NVDA）はより大きなNVLクラスのシステム（NVL576など）でフラットなall-to-allドメインを拡張しており、これはさらにより高度なモデルの疎性（アグレッシブなスパース性）をサポートする。両社はそれぞれの「高速ドメイン」を拡大しているが、それらのドメインが報いるアーキテクチャは構造的に異なるままである。したがって、私たちはフロンティアモデルの設計方法における継続的な「発散（ダイバージェンス）」を予想すべきであり、収束（コンバージェンス）を期待すべきではない。

OpenAIの次期カスタムASICとネットワークトポロジーを注視することは、特に興味深いものになるだろう。同社の既存の高スパース性（疎結合）モデルはコスト効率向けに最適化されているように見えるが、より大きな行列を持つ低スパース性（疎結合の割合が低い）設計（TPUスタイルに近い）は、ハイエンドのコーディングエージェントのような要求の厳しいユースケースにおいて、トークンあたりで優れた品質を提供する傾向がある。

4.3 サービング（推論提供）の経済性という視点

細かいMoEモデル（活発なエキスパート並列化を伴う多数の小さなエキスパート）は、必要な部分のみを稼働させる（スパースな）設計によって、トークンあたり一部のエキスパートのみを動かせばよいため、訓練のFLOPs単位のコストは比較的安価である。

しかし、それらをサービング（推論提供）することは高コストかつ複雑である。単一のモデルインスタンスをホストするだけで、多くのエキスパート間でトークンを効率的に移動させるために、高帯域幅のインターコネクトを備えた大規模なエキスパート並列展開が必要になる。これは訓練のような超大バッチサイズの環境では合理的に機能するが、遅延時間（レイテンシ）に敏感な推論や利用率の低い推論ワークロードでは非効率的で高コストになる。

対照的に、粗く高密度なモデル（少数の大きなエキスパート、または必要な部分のみを稼働させる割合が低い（低スパース性）アーキテクチャ）は、通常、訓練中により多くのトークンあたりFLOPsを必要とする。

しかし、それらの推論提供（サービング）は大幅に容易かつ安価である。メモリフットプリントが小さく、並列化戦略が単純で、少数のチップに詰め込むことができる。これにより、特に多様なバッチサイズや遅延時間（レイテンシ）要件が求められる実世界の推論において、より実用的になる。

業界の計算支出が訓練から推論へとシフトし続ける中で、疎結合の度合いが粗い設計（粗いスパース性）と大きな行列を好むグーグル（GOOG）のトポロジー主導の選好は、推論重視の時代にうまく適合することが証明されるかもしれない。コスト効率の高いOCS接続のシリコン上で高密度モデルを実行することは、約2倍のネットワーク効率の優位性を考慮する前であっても、構造的に魅力的な推論提供のコスト構造を提供する。

---