Deepseekの手頃な価格は神話です。革新的なAIは実際には16億ドルの費用がかかります。

Deepseekの新しいチャットボットには、印象的な紹介があります。中国のスタートアップDeepseekの製品であるこのAIは、すぐに主要なマーケットプレーヤーになり、Nvidiaの株価の大幅な低下に貢献しています。その成功は、いくつかの革新的な技術を組み込んだユニークなアーキテクチャとトレーニング方法論に由来しています。

マルチトークン予測（MTP）：従来の単語ごとの予測とは異なり、MTPは複数の単語を同時に予測し、異なる文章を分析して精度と効率の向上を確認します。

専門家の混合（MOE）：このアーキテクチャは、複数のニューラルネットワークを利用して入力データを処理し、AIトレーニングの加速、パフォーマンスの向上を利用しています。 Deepseek V3は256個のニューラルネットワークを採用しており、トークン処理タスクごとに8個のアクティブ化されています。

マルチヘッド潜在的注意（MLA）：このメカニズムは、重要な文化要素に焦点を当てており、テキストフラグメントから重要な詳細を繰り返し抽出して、情報の損失を最小限に抑え、微妙なニュアンスをキャプチャします。

Deepseekは当初、2048 GPUを使用して600万ドルで強力なDeepseek V3ニューラルネットワークを訓練したと主張しました。ただし、セミアン症により、はるかに多くのインフラストラクチャが明らかになりました。10,000H800、10,000 H100、および追加のH20 GPUを含む約50,000のNVIDIAホッパーGPUが複数のデータセンターに広がっています。これは、サーバーの総投資額を約16億ドルで、運用費用は9億4,400万ドルと推定されています。

中国のヘッジファンド高飛行者の子会社であるDeepseekは、データセンターを所有しており、AIモデルの最適化とより高速なイノベーションの実装を完全に制御しています。この自己資金によるアプローチは、柔軟性と意思決定速度を向上させます。同社はまた、トップの才能を引き付け、一部の研究者は年間130万ドル以上を稼ぎ、主に中国の大学から募集しています。

DeepSeekの最初の600万ドルのトレーニングコスト請求は非現実的であるように見えますが、GPUの使用前にのみを除外し、他の費用を除外しますが、同社はAI開発に5億ドル以上を投資しています。そのコンパクトな構造により、大企業の官僚制度とは対照的に、効率的なイノベーションの実装が可能になります。

Deepseekの成功は、資金提供された独立したAI企業が業界の巨人と競争する可能性を示しています。その「革新的な予算」の請求は誇張されていますが、投資、技術のブレークスルー、強力なチームの数十億がその成功における否定できない要因です。競合他社のコストを考慮すると、コントラストは印象的です。 DeepseekはR1に500万ドルを費やしましたが、ChatGpt4の費用は1億ドルでした。多額の投資にもかかわらず、Deepseekのコストは競合他社よりも大幅に低いままです。