Cerebrasは高速タクシー、NVIDIAは大量輸送バス（Part 1）

Cerebras（CBRS）は2026年5月に新規上場しました。結論を先に言うと、今後2〜3年は概ね有望と見ていますが、それがあなたにとって有望かどうかは、市場の需要をめぐるいくつかの変数について、あなた自身がどう認識し判断するかに左右されます。本稿では大枠の論点を扱い、より高度なサービング（提供方式）の数理はPart 2に譲ります。

誤解の正体

私たちが「State of GenAI 2023」レポートで有望と位置づけたAI-ASIC系のスタートアップの評価額が上昇していくのを見るのは喜ばしいことです。汎用GPUからASICへという関心のローテーションは、当時私たちが予想した通りに進んでいます（同レポートの2026年改訂版も準備中です）。

意外なのは、NVIDIA（NVDA）の歴史的な上昇相場が始まって3年が経ち、この分野がこれだけ盛り上がっているにもかかわらず、市場が今なおAIコンピュートそのものをうまく理解できていないことです。私たちの見立てでは、その根本原因は「今、誰が値付けをしているか」にあります。半導体分野のテック・グロース投資は、依然としてソフトウェア中心のファンドがハードウェアへ事業を拡張してきたケースが主流であり、これが半導体という株式市場の一角における脱プロフェッショナル化、いわば個人投資家化を招いています。

その結果、Cerebras（CBRS）をめぐっては、この分野を長年専門としてきたプロフェッショナルが引き続き主役であれば考えられないような誤解が生まれています。そこで本稿では、CBRSを大局的な視点で取り上げ、投資対象として有望かどうかについての私たちの考えを整理します。

タクシーとバスという思考モデル

大まかに言えば、Cerebrasのウェハースケールエンジン（WSE）がユーザー向けにトークンを生成することは、タクシーに乗るようなものです。同じ仕事をNVIDIAのGPGPU、HuaweiのNPU、GoogleのTPU（GOOGL）、あるいはその同業でこなすことは、バスに乗るようなものです（以下では効率のため、後者をまとめて「GPU」と呼びます）。

CBRSをめぐる混乱のほとんどは、「どちらの乗り物についてレビューしているのか」を取り違えていることから生じています。ただし注意すべきなのは、両方の乗り物とも、レース中に設計変更を受け続けているという点です。チップ設計には多くの変化する変数があり、タクシー側の堀を侵食しかねない新技術や、純粋な少人数・低バッチ向け高速推論を後押しする構造的な追い風も存在します。

第一原理：行列演算ユニットのレベルでは、みな平等

私たちがコンピュータチップを分析する際の思考モデルは、常に第一原理に基づいています。まずAIチップの根幹となる演算ユニット、すなわちモデルの算術演算のほぼすべてを構成する乗算・累積演算を行う配列である「行列乗算ユニット」から出発します。ここでは、誰もが平等です。与えられたシリコン面積の中で、各社が行列演算ユニットを設計する能力は本質的に同じであり、物理法則も算術も全員に共通だからです。

唯一のレバーは数値精度

このレベルで唯一意味を持つレバーは、数値精度です。業界はFP64からFP32、FP16、FP8、そして今やFP4へと、モデルの重みや活性化に使うデータ形式のビット幅を着実に縮小させてきました。乗算器のシリコン面積はおおむねビット幅の2乗に比例するため、ビット幅を半分にすると各乗算器の面積は劇的に小さくなります。これにより設計者は、同じシリコン面積により多くの演算ユニットを詰め込めるようになり、優秀な設計チームであればこれに伴うオーバーヘッドを5%未満に抑えられます。この精度の縮小を除けば、ただで手に入るものはありません。

上位レイヤーで差がつく

チップのより上位のレイヤーへ移ると、ようやく差別化が生まれます。チップ内外のコンポーネントがどう通信するかという「ネットワーキング／I/O」、実行中に演算ユニットをどう管理・編成するかという「スケジューラー」、そして計算の前後でデータをどう保存・読み込むかという「メモリアーキテクチャ」です。

これはちょうど飲食店経営に似ています。使う食材の根本は同じでも、調理の仕方、厨房スタッフの編成、顧客需要への対応の仕方は各社で異なります。

GPU／NPU／TPUというアーキテクチャが主流である理由は、それが最も大きな公約数となる需要に応えるアーキテクチャだからです。一般大衆は、高いスループットと低コストで生成されるトークンを絶えず求めており、より高速な推論への需要も確かに存在しますが、それは大衆需要ほど大きくはありません。大衆需要に応えるため、GPUのようなバッチ処理型のAIプロセッサは、高価で貴重な論理ウェハー面積にできる限り多くの演算能力を詰め込み、顧客に費用対効果を提供する一方で、スケジューリングとI/Oのために相応の面積を確保します。これこそが、このチップを大規模クラスタへ拡張可能にし、開発者にとって扱いやすいもの——コーディングや実行、実験がしやすいもの——にしている理由です。

SRAMと「サパ」——主流チップがオンチップメモリを避ける理由

古代ローマの教訓

GPUクラスのアーキテクチャは、意図的に大量の高価なオンチップSRAMを使わない選択をしてきました。この規律がなぜ重要かを理解するために、少し歴史をさかのぼります。古代ローマ人は、鉛製の壺でぶどう果汁を煮詰め、「サパ」と呼ばれる甘味料を作り、これをワインに加えていました。短期的には美味しかったのですが、長期的には鉛が甘味料に溶け出し、住民をゆっくりと蝕んでいきました。

SRAMは、ハードウェアにおける「サパ」です。お金で買える最速のメモリであり、演算ユニットのすぐ隣に配置されますが、物理的に大きく、ビット単価も高価です。だからこそ業界は、オンチップには薄い層だけを残し、大量のデータは密度が高く安価なオフチップメモリ（DRAM、そしてAI時代版であるHBM）に保存してきました。

CPUで有効な発想がGPUでは裏目に出る

CPUの時代には、単純にSRAMを増やすことは容易で効果的なアップグレードでした。CPUは一度に少数のタスクしか処理しないため、より多くの高速オンチップメモリを与えれば、その少数のタスクがより速く完了します。しかしGPUクラスのチップでは事情が異なります。これらのプロセッサは一度に数千のタスクを処理しており、最も重要なのはチップにできる限り多くの演算能力を詰め込むことです。大きなSRAMは、本来より多くの演算ユニットを収められるはずの面積を奪ってしまうため、CPUには有効な同じアップグレードが、GPUでは全体の性能をむしろ悪化させます。

面積コストの問題を超えて、この手法はそもそもスケールしません。SRAMを際限なく拡大し続けることはできず、1メガバイト増やすごとに、不釣り合いなほど高価なチップ面積を消費します。さらに重要なのは、SRAMはすでに成熟し尽くした最適化構造であり、そこからさらに引き出せる工夫はもう残っていないという点です。したがって、真に積み上がっていく進歩は、すでに自然な限界に達した部品にひたすら面積を注ぎ込むことからではなく、より優れた全体アーキテクチャから生まれるはずです。

プロセス経済性がさらに不利にする

プロセス経済性が、この状況をさらに悪化させます。最先端の論理ノードはPPAC（電力・性能・面積・コスト）の改善を提供し続けていますが、それは演算に関わるトランジスタに限った話です。SRAMのようなコンポーネントについては、PPACの改善は事実上7nmで止まっています。そのため、3nm以下のような最先端ノードでSRAMを増やすことは、経済的に大きく割に合わなくなります。高価なノードのプレミアムを払う見返りは密度の向上ですが、その密度の恩恵は主に演算側に帰属し、SRAMには及ばないからです。つまりSRAMを使えば使うほど、死重損失を多く抱え込み、プロセスノードが本来もたらすはずの恩恵を実際には取り逃がすことになります。

Cerebrasの物語：学習用に生まれ、推論に救われた

私たちは「State of GenAI 2023」レポートの中で、Cerebrasを、Tenstorrentに次いで有望なAIチップ・スタートアップの一社として簡単に紹介していました。当時はまったく異なる投資テーマであり、私たちもCBRSの経営陣も、その後のLLMの進化がこれほど急速になるとは見抜けていませんでした。当時の一般的な通念は単純なもので、より強力なAIチップとクラスタは学習に、より非力なチップとクラスタは推論に使うというものでした。WSEの設計は学習向けを意図していました。当時のモデルはまだはるかに小さく、ネットワークとメモリ帯域幅がモデル学習における決定的なボトルネックに見えていたからです。

GPUが抱える2つの製造上の限界

Cerebrasが乗り越えようとした制約を理解するには、まずGPUの回避策から見ていく必要があります。GPUアーキテクチャがスケールアップ／スケールアウト型のネットワーキングを多用しているのは、2つの厳しい製造上の限界があるからです。第一に、露光限界です。1台の露光装置がスキャンできる範囲はおよそ800平方ミリメートルに限られるため、どのGPUの論理ダイもこれより大きく作ることはできません。第二に、先端パッケージングの限界です。論理ダイを無制限に束ねることはできず、パッケージング技術が対応できるのは露光倍率にして例えば4倍程度までであり、無限ではありません。

この制約の中で、GPUアーキテクチャは薄いオンチップSRAMの層を一時データのキャッシュに使い、大半のデータをHBMに保存します。HBMそのものも一種の回避策であり、AIコンピュートが必要とする膨大なチップ内外のデータ移動需要に、帯域幅の低いDRAMだけでは対応できないことへの代償です。根本的には、SRAMだけですべてをオンチップに保存するのは非常に高価で、容量にも限りがあるからです。しかしHBMにも限界があります。主に1つのHBMダイに積層できるスタック数と、GPU論理ダイと同一パッケージに収められるHBMダイの数によるもので、これも同じ先端パッケージングの露光倍率の限界に行き着きます。

ウェハースケール集積という答え

Cerebrasの答えは、ウェハースケール集積です。300ミリのシリコンウェハー全体から作られる、単一の巨大なモノリシック・プロセッサです。相互接続される前のレイアウトを見ると、WSE-3は84個の露光サイズの領域——機能ダイ領域——として製造され、それらが製造工程中にシリコン表面上でカスタム接続され、1つの巨大な論理チップとして機能します（これほどの大きさのウェハーを欠陥ゼロにすることは不可能なため、設計には予備の演算ユニットが組み込まれ、配線網が不良箇所を迂回します。これこそがこの手法全体を成立させている工夫です）。TSMCとこの新しいプロセス・パッケージング・設計を共同で成熟させることで、Cerebrasは1つのパッケージにより多くのチップダイを実質的に詰め込み、スケールアップ／スケールアウト型ネットワーキングへの需要を圧縮しています。

典型的なGPUアーキテクチャとさらに差別化し、より高い性能を追求するため、WSEはI/Oとスケジューリングに割く面積を減らし、SRAMに割く面積を増やしています。これにより、HBMよりおよそ1桁高い帯域幅を持つオンチップSRAMで、メモリ帯域幅のボトルネックに挑んでいます。Cerebrasが信じたトレードオフは、より少ないチップパッケージを連結させるだけで済み、より多くの演算を1つの大きな一貫したドメインの中でウェハースケールのもと効率的にこなせるという、学習にとってより良いトレードオフでした。これはChatGPTのブームが始まり、誰もがスケーリング則を追いかけるようになるより何年も前の話です。

学習から推論への転換

ChatGPTの瞬間が訪れ、誰もがスケーリング則を追いかけ始めると、Cerebrasはすぐにこの変化に気づき、この熱狂に乗ろうとしました。しかしNVIDIA、Google（GOOGL）＆Broadcom（AVGO）、Huaweiのアーキテクチャが本質的にスケーリング則を後押しできる設計だったのに対し、WSEのアーキテクチャは本質的にウェハーを超えたスケーラビリティに乏しく、より高い柔軟性を伴うその未来に備えられていませんでした。Groqと同様、Cerebrasはいくつかの回避策を試みました。まず相互接続ドメインをより多くのチップへ広げようとしましたが、限られたI/Oと、SRAMアーキテクチャが要求する高い通信帯域幅のため、この設計はそもそも大規模クラスタの相互接続需要向けには作られていませんでした。次にマルチラックのシステムレベル展開へ移行しましたが、エンジニアリング上の回避策そのものを別にしても、こうしたシステムを効率的に運用する方法は誰にも分かっていません——成熟したNVIDIAのGPUクラスタでさえ運用は大きな課題であり、CerebrasやGroqのものはなおさらです。だからこそ両社とも、中東の政府系ファンドの資金支援を受けて、自らクラウドサービスへ事業を広げざるを得ませんでした。

そして、ある告白がなされました。あらゆる回避策を使い切っても、最先端モデルの学習を支えることはできない——モデルがあまりに巨大化し、Cerebrasが対応できるのは推論のみになっていたのです。Cerebrasが学習用ラックを供給し、Qualcomm（QCOM）が推論用ラックを供給するという提携を発表してからわずか半年後、Cerebrasは推論システム全体のサプライヤーへと方針転換しました。

物語はこう変わりました。高価なNVL72——それぞれ2基のBlackwell GPUと1基のGrace CPUを搭載する36台のGB200ノードを、NVSwitchトレイでNVLink経由で連結したもの——を使う代わりに、84個のダイをNVLinkなしで直接1つのウェハースケール・パッケージに結合すればいいのではないか。そもそもHBMを維持する必要すらあるのか——それを帯域幅が10倍大きいはるかに巨大なオンチップSRAMに置き換えれば、そもそもトークン生成におけるメモリ帯域幅のボトルネックは存在しなくなるのではないか、と。この問いに正直に答えるには、続く4つのセクションが必要です。

速度・スループット・バス運行者の問題

ここからは実際の数字に踏み込みます。CBRSのWSE-3とNVIDIAのBlackwellを比較することは、実は非常に複雑です。多くのパラメータに左右され、どちらが安くて速いかを一言で言い切れる単一の指標は存在しません。

一般的な原則はこうです。1つのバッチに150人以上の同時ユーザーをまとめられ、各ユーザーがそこそこの推論速度で満足するのであれば、NVIDIAは今なお最も安価なトークン生成工場です。逆に、1人あたりの秒間トークン数を最大化したいのであれば、より小さなバッチで運用する必要があり、これは全体としてのシステムスループットを押し下げます。トークンあたりの収益を最大化するという観点からは非効率であり、単一ユーザー向けの高速なTPS（秒間トークン数）に対してより高い料金を課すことで補わない限り、割に合いません。

これはバス運行者になるようなものです。収益性を最大化したいなら、1回の運行にできるだけ多くの乗客を乗せる必要がありますが、乗客が多いほど停車回数を増やさざるを得ず、1人あたりの移動時間は延びます。逆に平均的な乗客の移動速度を上げたいなら、乗客数を減らし停車を減らす必要があり、収益は減ります。

Cerebrasは単一ユーザー向けのスループットは高速ですが、大規模なトークン生成工場として運用したときの経済性は劣ります。最適な効率に達するのはユーザー数が4人程度のときです。これはタクシーです。目的地まで停車なしで極めて速く到達できますが、座席数が少ないため、コストを効果的に分散できず、乗客1人当たりのコストは想定通り高くなります。

大局的に見ると、AIチップにおけるSRAM型、つまりタクシー型のアーキテクチャは、はるかに柔軟性の乏しい選択です。バス運行者は常に、より多くの乗客を乗せることで座席を埋め効率を高める方法を見つけられますが、少人数しか運べない高価なタクシーの車列にはそれができません。SRAMベースの設計は、すでに利用可能な性能向上の大部分を使い切っています。バス、すなわちGPU／NPU／TPUベースの設計は、今日では低い計算利用率で稼働していることが多いものの、その非効率さこそが将来の改善余地と規模の経済をもたらす余白であり、柔軟性・拡張性に乏しいアーキテクチャに高価なSRAMという先行コストを固定化してしまうこととは対照的です。

(出典: Convequity社)

データを動かすコストは、計算するコストをはるかに上回る

1000倍という非対称性

これまで述べてきた構図の根底にあるのは「計算利用率」です。私たちはこれまでも各種レポートでこの概念を取り上げてきました。GPUの多くは、カタログスペック通りの浮動小数点演算速度では稼働していません。ボトルネックが別の場所、典型的にはネットワークとメモリのI/Oにあるからです。GPUは論理ダイの中に演算ユニットを高密度に詰め込んでいるため、1回の実行でデータを素早く処理できますが、その後は次のデータのバッチが届くのを待ち、計算し、送り出し、また新しいバッチを受け取る必要があります。

「1回の乗算はおよそ1ピコジュールです。HBMからチップへデータを移動させるコストは、その約1000倍かかります。この1000倍という差が、機械学習で私たちが行っていることの多くを形づくっています。もしこの差がなければ、そもそもバッチ処理をする必要すらなかったでしょう」——ジェフ・ディーン氏（Convequityの投稿より引用）

プリフィルとデコードという2つの工程

その核心にあるのが、プリフィル・デコード分離アーキテクチャです。これはモデルの推論を2つの工程に分けます。プリフィル——プロンプトの取り込み——は、より多くの演算、より少ない帯域幅、より大きなメモリサイズを必要とします。デコード——回答の生成——は、より少ない演算、より多くの帯域幅、より小さなメモリサイズを必要とします。プリフィルでは、HBMの帯域幅で演算を稼働させるのに十分なデータを供給できます。デコードでは、HBMの帯域幅は空いている演算ブロックを埋めるほど高くありません。トークンを1つずつ生成するということは、KVキャッシュ（それまでのシーケンス全体の記憶——それまでの各トークンのキー・バリュー・テンソル）に加えて直近に生成されたトークンをGPUへ送る必要があるということです。次のトークンが生成され、HBMへ書き戻され、更新されたシーケンスが再度送られて次のトークンを生成します。このデコード中に繰り返される往復は帯域幅を非常に消費し、ボトルネックになります。これを緩和する——完全に解決するわけではありません——一つの方法が、複数のデコードをバッチ処理で並行実行することです。

計算利用率：勝敗を決めるのはバッチサイズの分岐点

どのAIチップにも、どれだけの演算能力を発揮できるかと、どれだけ速くデータを動かせるかの間にバランスが存在します。チップがメモリ帯域幅による制約から、純粋な演算能力による制約へと切り替わる地点こそが、決定的な分岐点です。デコードにおいては、この分岐点はおおむねバッチサイズによって決まります。

デコードは、重みの1バイトあたりおよそ2FLOPsの演算を、トークンごとに1回、同時に実行しているシーケンス数に応じてスケールさせながら行います。B300では、テンソルコアがきちんと稼働し始めるのはバッチ160前後からです。WSE-3では、同じ飽和状態がバッチ3前後で起こります。この差1つだけで、この論争で持ち出される主要なベンチマークの差の大部分が説明できます。

（WSE-3の数値はCerebrasが利用率を公表していないための推定値です。ラック規模での参考値としては、NVL72が1台に対しCS-3がおよそ4台に相当します。）

プリフィルでは差がつかない

プリフィルでは、両アーキテクチャとも演算能力によって制約されるため、行列演算ユニットをより密に詰め込んだGPUに分があります。この段階では、ウェハースケールチップの高価なSRAMはほとんど優位性をもたらさず、これがこうしたチップがプリフィル単体ではほぼ使われない理由です。

デコードで状況が逆転する

デコードでは状況が逆転します。対話型利用で典型的な小さなバッチサイズ（1〜5）では、GPUはほぼ空の状態で稼働しています——タクシー1台分の乗客しかいないバスのようなものです。WSEは1人の乗客でもすでに効率的で、3〜4人で完全に稼働します。700億パラメータの高密度モデルでGPUが経済的な利用率に到達するには、およそ160の同時シーケンスが必要です。それだけの規模でも、GPUの利用率は60%を超えることはめったにありません。自らのスケジューラーと制御ロジックが次の制約になるためです。ウェハースケール設計は、オンチップSRAMが増え続けるKVキャッシュを保持できなくなる地点まで、ほぼ100%の演算利用率を維持できます。

本番環境ではさらに厳しくなる

実際の本番環境では、制約はさらに厳しくなります。288GBのHBMを搭載した1台のB300は、700億パラメータのFP8モデルを保持でき、32Kのコンテキストで残りは約42シーケンス分の余裕しかありません。そのバッチサイズでは、利用率は15〜30%のレンジまで落ち込みます——経済的な採算ラインを大きく下回る水準です。これこそが、NVLinkのような高速スケールアップ・ファブリックが存在する理由です。多数のGPUを1台の大きな一貫したデバイスのように機能させ、モデルの重みとKVキャッシュの両方を分散させることで、演算を忙しく保てる実用的なバッチサイズをようやく確保できるのです。

平たく言えば、GPUは多くのユーザーを同時にさばき、その処理を緊密に連結された多数のチップ群に分散できるときに最も効率的です。Cerebras型のチップは、少数のユーザーが非常に高速な応答を必要とするときに最も効率的です。どちらのアーキテクチャもすべてに勝てるわけではなく、だからこそ業界は両者を直接の代替品として扱うのではなく、組み合わせて使う方向へ向かっています。

(出典: Convequity社)