Cerebras Inference: Qwen 3.8 27B Deployment and Performance

Cerebrasは、モデルカタログを拡張してQwen 3.8 27Bを追加し、約1,500トークン/秒の推論速度を実現しました。このデプロイメントは、Cerebrasの専用ハードウェアを活用して、モデルの非剪定（unpruned）バージョンの高スループットなアクセスを提供し、エージェント的ワークフローやコンテンツ生成のために即時的な出力を必要とするユーザーをターゲットにしています。

Model Specifications and Availability

Qwen 3.8 27Bは、現在Cerebrasのパブリックエンドポイントで、無料トライアルおよび従量課金制のティアで利用可能です。プラットフォーム上のモデルの技術パラメータは以下の通りです：

Model ID: qwen-3.8-27b
Parameters: 27 billion
Context Window: 無料ティアのユーザーは64k、有料ユーザーは128k。
Performance: 約1,500トークン/秒。

Cerebrasはまた、OpenAI GPT OSS (gpt-oss-120b) もホストしており、これは最大131kトークンのコンテキストウィンドウで、約3,000トークン/秒で動作します。

Hardware-Optimized Model Compression

Cerebrasは、アーキテクチャの完全性を確保するために、パブリックエンドポイントでオリジナルの非剪定（unpruned）モデルを提供し続けるというポリシーを維持しています。同社はRouter-weighted Expert Activation Pruning (REAP) に関する研究を行っていますが、これらの剪定されたモデルはHugging Faceを通じて研究コミュニティ向けに予約されており、プロダクションAPIからは利用できません。

品質を犠牲にすることなくストレージを最適化するために、Cerebrasは選択的なweight-only quantization（重みのみの量子化）を使用しています。重みは、レイヤーの感度に応じて16-bit、8-bit、または4-bit形式で保存されます。感度の高いレイヤーはフル精度で保持され、実行時にデクォンタイズ（dequantized）されます。すべての活性化（activations）、アテンション・メカニズム、およびKVキャッシュは、量子化されずフル精度に保たれます。

User Performance and Cost Analysis

生のトークン/秒（t/s）速度は高いものの、コミュニティのフィードバックでは、プロダクション利用におけるいくつかの実用的なボトルネックとコストの考慮事項が強調されています：

Rate Limits and Throughput

ユーザーは、パブリックエンドポイントのレート制限（例：1分間に150kから450kトークン）が、コーディングタスクやエージェント的ワークフローにおいて大きな阻害要因になり得ると報告しています。キャッシュされたトークンもこれらの制限に含まれるため、長いセッション中のユーザーはすぐに制限にクォータ（quota）に達することがあります。

Cost vs. Speed Trade-off

Cerebrasは、他のプロバイダーと比較して、大幅に高速ですが、より高価です。あるユーザーの報告によると、CerebrasでのセッションはOpenRouterの平均と比較して2.8倍速く、しかし5.6倍高価でした。これは主に、Cerebrasが現在、キャッシュされたトークンに対して価格割引を提供していないことが原因です。

Utility in Software Development

ソフトウェア開発におけるモデルの有用性については、意見が分かれています。出力速度は「素晴らしい（awesome）」と表現されていますが、一部のユーザーは、ツール呼び出しの信頼性、シェルコマンドの実行、および人間が結果を読み取る必要性といった他のボトルネックが、生の推論速度を相殺するため、開発速度の純粋な利得はわずかであると主張しています。

"The net effect is that I spend about the same time waiting... at least for coding, it actually reconciles me with the 100-200t/sec you can get on DS4 or the like."

Comparison with Local Inference

一部の開発者は、27Bパラメータのモデルであれば、ローカル推論が実行可能な代替案であると示唆しています。ninferのようなツールを使用すると、RTX 5090のようなハードウェアで200-400トークン/秒を達成できるとユーザーが報告しており、これはAPIレート制限や継続的なコストのコストなしで、多くのユースケースにおいて十分な可能性があります。