【テクノロジー】AIの今後の展望：Test Time Compute（テスト時計算）が未来を切り開く！？
ダグラス・ オローリン- 本稿では、AIの今後の展望を語る上で不可欠な「Test Time Compute（テスト時計算）」という概念とAIの将来性に関して詳しく解説していきます。
- プレトレーニングのスケーリング法則は収益逓減の局面に入りつつあり、従来のモデル拡大に頼る手法が経済的限界を迎えつつあります。
- 今後の焦点は、より大規模なモデルのトレーニングではなく、効率的でコスト効果の高い運用方法、特に「Test Time Compute（テスト時計算）」に移行していくことにあるでしょう。
- ハードウェアやメモリの制約がAIモデルの運用における重要課題となり、小型で効率的なモデルや新たな最適化手法が必要となると考えています。
AIの今後の展望とは？
テクノロジーモデルのスケーリングはまだ終わっていませんが、明らかに転換点に差し掛かっています。これまでの定義が変わりつつあり、特にプレトレーニング（事前学習）のスケーリング則が初めて収益逓減（経済学や生産管理における概念で、追加の投入量に対する成果「収益や生産量」が徐々に減少していく現象）の局面に入る兆しを見せています。SemiAnalysisは、これを「プレトレーニングはデナード則の終焉に似ている」とたとえています。ただし、デナード則が終わった後にマルチコアスケーリングがもう10年技術の進化を支えたように、技術は形を変えながら進歩を続けていくものです。
因みに、デナード則とは、1974年にIBMのロバート・デナード（Robert Dennard）とその共同研究者たちによって提唱された、半導体のスケーリングに関する法則です。この法則は、トランジスタが縮小されると性能が向上し、エネルギー消費量が減少することを示しています。
デナード則の終焉
（出所：Karl Rupp）
このグラフを見ていると、私たちは2000年代初頭に似た状況に近づいているのかもしれません。デナード則の終焉という比喩は非常に的確です。そして、プレトレーニングも完全に終わったわけではなく、初めて収益逓減の兆候が見え始めている段階です。より大規模なモデルを作れば性能は向上しますが、プレトレーニングの効果が薄れてきているのも事実です。GPT-4からGPT-5への進化は続くでしょうが、今後の焦点は「モデルをさらに拡大できるか」ではなく、「より大きなモデルをトレーニングすることが経済的に見合うかどうか」という点に移っていくでしょう。
多くの人が忘れがちですが、元々スケーリング法則に関する論文では、桁違いのリソースを投入してもエラー率の改善はわずか10〜30％にとどまるとされていました。GPT-5はその改善範囲の下限に近い可能性が高いですが、仮にエヌビディア（NVDA）がハードウェア性能を5倍向上させたとしても、そのコストは、スケーリングの規模によって2倍から20倍にもなる可能性があります。
では、今起きていることは何でしょうか？スケーリングの「法則」が初めて限界を見せ始めているのです。ムーアの法則を含め、すべての技術的な法則は、人間が一定のペースで進化を続けたいという願望に過ぎないことを思い出すべきです。
これからもスケーリングには新しい方向性が生まれるでしょう。しかし、それには相応のコストが伴うのです。
ここで触れていない問題は、性能向上を目指す「ライン」を引き上げるには莫大なコストがかかるという点です。それぞれの「向上のライン」には異なるコスト構造があり、場合によってはプレトレーニングのコスト曲線から別の曲線に切り替える方が合理的な選択となることもあります。
一般的な右肩上がりのグラフとは異なり、全体的な性能向上を示す黒いラインは対数的直線（ログリニア）で描かれており、議論の対象となるのは桁違いのコストです。より優れたシリコン技術が登場したとしても、限界的な改善を得るには指数関数的なコストが必要になります。この状況がどこまで続けられるのかは未知数です。データが大きな制約要因になることは間違いありませんが、モデルに投資する金額が増えれば増えるほど性能は向上するでしょう。
しかし、この論理を突き詰めれば、世界のGDP全てを投入して最高のモデルを作ることも理論的には可能ですが、それでは経済的な合理性が完全に失われます。問題は明らかであり、本当に重要なのは「どこで限界収益が薄れるのか」という点にあります。
Test Time Compute（テスト時計算）が未来を切り開く
スケーリングは「終わり」を迎えたわけではなく、これから形を変えていくと考えています。従来のプレトレーニング法則とは大きく異なりますが、その次の可能性として「Test Time Compute（テスト時計算）」が注目されています。NeurIPSでNoam Brown氏は、このテスト時スケーリングを「GPT-2時代に匹敵する革新的な機会」と評しました。
因みに、Test Time Computeとは、機械学習やディープラーニングモデルのテストフェーズ（推論時）における計算負荷やリソース消費を指す概念です。特に、大規模なモデルやリアルタイム応答が必要なアプリケーションにおいて重要な指標となります。
LLMにおけるテスト時計算のスケーリング
（出所：OpenAI: Learning to Reason with LLMs）
ただし、この課題を解決するための具体的なアプローチは非常に高度で複雑です。たとえば、レスポンスのスキップ、推論モデルの連携（フェデレーション）、モデル空間の探索など、さまざまな革新的な手法が検討されています。テスト時計算は新たな選択肢を生み出し、これからの技術進化を牽引する重要な要素となるでしょう。これこそが未来を築く鍵だと考えています。
フロンティア曲線の最適化
より優れたモデルを作ることを「フロンティア曲線」として考えてみましょう。単純化すると、より多くのプレトレーニングを施すほど良いモデルになりますが、やがて収益逓減の壁に突き当たります。仮に無限の計算リソースを投入して理想的なモデルを作ることが可能だとしても、1回の推論に数万ドルものコストがかかるようでは、それは実際には「価値がある」とは言えません。それでも、理論的には達成可能であるべきだし、技術的にも可能性はあるでしょう。
とはいえ、最大かつ最良のモデルをひたすらスケールアップし続けるのは、もはや現実的ではありません。ただし重要なのは、これまで多くのAI研究機関がこのアプローチを採用してきたという点です。その結果、モデルを支えるシリコンやハードウェアが、十分に低コストで運用できず、ビジネスモデルとして成立しない状況を生み出してきました。これは、F1カーのような速く高性能な車を作るのと似ています。性能は素晴らしいものの、多くの人に売れるものではありません。
今必要なのは、この曲線の下でコストに応じたさまざまな選択肢を設けることです。これが現在のメタ・プラットフォームズ（META）（現状の最適解）ですが、実は私たちはもう一つの次元を見落としている可能性があります。
では、解決策は何でしょうか？おそらく、より小型のモデルがその鍵となるでしょう。現在、プレトレーニングは最もシンプルで直接的な選択肢とされていますが、それだけでは限界があります。この状況を、金融におけるリスクとリターンのバランスを取る「効率的フロンティア曲線」に例えることができます。ここで細かい議論は避けますが、新たな軸として「Test Time Compute（テスト時計算）」が重要になってくるでしょう。
（出所：ChatGPT）
Test Time Computeは、新しい「Z軸」を切り開く可能性を秘めています。さらに注目すべき点は、最適化の空間内で、ハードウェア要件による大きなボトルネックが発生することです。この制約によって、AI研究機関は曲線上の特定のポイントを選択する必要に迫られます。SemiAnalysisのスケーリング法則に関する記事に掲載されているグラフは、この現象を最もよく示しています。この曲線にはバッチサイズに応じた明確な屈曲点があり、そのバッチサイズはハードウェアの性能に依存しています。
（出所：SemiAnalysis）
そして、現在、ハードウェアはAIモデルのスケーリングにおける現実的な制約となっています。その中でも特に重要なのは、「メモリの一貫性を保つ空間」です。この空間こそが、モデル運用の経済性を左右する重要な「予算」となると考えられます。
メモリが予算の制約となる可能性
最適化空間の中では、非常に大規模なモデルを作成し、大きなバッチサイズで多くのユーザーに対応することは可能ですが、そのスケールに応じた利益は次第に減少していきます。一方で、より効率的にトレーニングされた小型モデルを作成し、テスト時計算を活用して広範なコンテキストウィンドウで運用する方法も考えられます。この最適化空間は一様ではなく、メモリの予算がその方向性を決定づける重要な要因となるでしょう。メモリ容量と提供可能なモデルの種類には、本質的なトレードオフが存在します。
一方で、次世代のGB200では、モデル運用コストを大幅に削減できる可能性があります。現在、OpenAIのO1モデルは、8基のH100やH200 SXM推論ノード（総メモリ容量1.128テラバイト）に制約されています。しかし、次世代のGB200 NVL72では、CPUのLPDDRを含む統合メモリが約30テラバイトに達すると見込まれています。これはメモリ容量が30倍に増加することを意味し、テスト時計算に最適化されたインスタンス運用において、大きな利点をもたらすでしょう。
次章では、ChatGPTのグローバルベースでの利用状況の詳細な分析を通じて、AIの今後の発展において想定されるシナリオを詳しく解説していきます。
※続きは「【テクノロジー】AIの今後の発展シナリオとは？ChatGPTはグローバルで採用が加速し、6億人規模の利用者数達成が視野に！」をご覧ください。
また、私のプロフィール上にて、私をフォローしていただければ、最新のレポートがリリースされる度にリアルタイムでメール経由でお知らせを受け取ることが出来ます。
私の半導体・AIに関するレポートに関心がございましたら、最新のレポートを見逃さないために、是非、フォローしていただければと思います。
加えて、足元では、弊社のアナリストであるイアニス・ ゾルンパノス氏も下記のレポートにおいて、AIの将来性に関する詳細な分析を共有しております。
AIの今後の動向に対する理解を一層深めるために、是非、併せてご覧いただければと思います。
アナリスト紹介：ダグラス・ オローリン / CFA
📍半導体＆テクノロジー担当
オローリン氏のその他の半導体関連銘柄のレポートに関心がございましたら、是非、こちらのリンクより、オローリン氏のプロフィールページにアクセスしていただければと思います。
