【Part 4】DeepSeek（ディープシーク）の価格比較：競合の OpenAIやAnthropic等と比較すると価格は魅力的？

※「【Part 3】DeepSeek（ディープシーク）とChatGPTの違いとは？DeepSeekの強み＆競争優位性を徹底解説！」の続き

前章では、「DeepSeek（ディープシーク）とChatGPTの違いとは？」という疑問に答えるべく、DeepSeekの強みと競争優位性を詳しく解説しております。

本稿の内容への理解をより深めるために、是非、インベストリンゴのプラットフォーム上にて、前章も併せてご覧ください。

DeepSeek（ディープシーク）の推論（Inference）に関して

私たちは、DeepSeek（ディープシーク）の中で最も過小評価されている革新の一つが、その推論クラスター設計であると考えています。モデル開発に関する研究には大きな注目が集まっていますが、DeepSeekはモデルの提供方法にも変革をもたらしています。同社の推論クラスターアーキテクチャは、AIチップにおける制約がメモリ依存から計算依存へと移行する可能性を示唆しており、CUDAだけでは対応できない、より洗練された調整レイヤーの必要性を浮き彫りにしています。

現在の推論インフラは主にシングルカードまたはシングルノードのパラダイムに基づいており、推論用データセンターと学習用データセンターでは、根本的に異なる制約のもとで運用されています。現時点では、AIチップの性能は主に計算能力ではなく、メモリ容量によって制限されています。例えば、Llama 3 70BモデルをH100 GPUにロードすると、モデル本体とKVキャッシュ（チャット履歴）が利用可能なメモリをすべて使い切ってしまいますが、それでも計算ユニットの使用率はおよそ50％にとどまります。学習作業においては、複数のGPU間でデータを移動させる必要があり、それがサーバー間やラック間にまたがる場合はさらに顕著で、利用率が約30％まで低下することもあります。これにより、レイテンシが増加し、効率が低下します。

モデルの推論を行う際には、基本的にモデル全体を一つのGPU、あるいは高速なNVLinkで接続された8つのGPUを備えた一つのサーバーノードにロードして動作させるのが一般的です。通常、それ以上のGPUを別のサーバーにまたがって拡張することは望ましくありません。というのも、サーバー間でのGPU間通信は、レイテンシが高く、帯域幅も低いため、通信がより複雑になるから