Edge0 145Bおよび120Bリリース:パーソナルハードウェアで大規模AIを実現

Edge0は、パーソナルハードウェアで最先端レベルの推論、コーディング、エージェント機能を実現するために設計された、高パラメータモデルであるEdge0-145BとEdge0-120Bをリリースしました。専用の推論フレームワークを活用することで、145Bパラメータモデルはピークメモリ使用量29GBというコンシューマー向けハードウェアで動作可能となり、クラウドベースのAPIに依存することなく、3Dモデリング、ハードウェアプログラミング、自律的なソフトウェア開発といった複雑なワークフローを実現します。

技術アーキテクチャと推論設計

145Bパラメータモデルをパーソナルコンピュータで実行する能力は、スパースエキスパートアーキテクチャと階層型メモリロードシステムの組み合わせによって達成されています。

  • スパースエキスパート共有: すべてのエキスパートに対してパラメータのフルセットを保存するのではなく、モデルアーキテクチャは64個のエキスパートのグループ間で2つの大きな行列を共有します。これにより、モデルは大きなパラメータ数を維持しつつ、推論の各ステップでアクティブになるパラメータを約10Bに抑えることができます。
  • 階層型メモリ管理: 推論エンジンは、GPUメモリ、システムRAM、SSDストレージ間でデータをパイプライン処理します。頻繁にアクセスされる「ホット」なエキスパートはGPUメモリにキャッシュされ、二次的なエキスパートライブラリはシステムRAMに配置され、語彙データは必要に応じてSSDからフェッチされます。
  • ハードウェアスケジューリング: システムはCPUとGPUのリソースを並列に使用して計算を管理し、推論生成速度を向上させる投機的デコード(speculative decoding)によってサポートされています。開発者によると、生成速度は80トークン/秒を超えると報告されています。

パフォーマンスとベンチマーク

Edge0-145Bは、いくつかの標準化されたベンチマークにおいて、既存の最先端クラウドモデルに匹敵するパフォーマンスを報告しています。内部評価によると、このモデルはDeepSWE 1.1で64.6、GPQA-Diamondで90.4、IFBenchで80.6を記録しました。開発者は、このパフォーマンスが、同等のモデルの標準的な4ビット展開(多くの場合70GB以上のメモリが必要)よりも大幅に低いメモリフットプリントで達成されていることを強調しています。

コミュニティの反応と技術的精査

このリリースはエージェントAIを民主化する可能性として大きな関心を集めていますが、コミュニティからはプロジェクトの透明性と技術的実装に関して、いくつかの議論のポイントが提起されています。

  • モデルの起源: 一部のユーザーは、Edge0と既存のオープンウェイトモデルとの関係に疑問を呈しており、このリリースがQwen3.8-Flash-Nextのような確立されたモデルのファインチューニング版である可能性を示唆しています。ある観察者は次のように指摘しています。「人々がモデルをファインチューニングすることは全く珍しいことではありません...珍しいのは、誰かがこれをすべて広範なブランディングで包み込み、企業としてオンラインで公開しているのを見ることです。」
  • ハードウェアの互換性: macOSへの「初日対応」という主張にもかかわらず、コミュニティメンバーは、現在のリリースがCUDAベースの環境向けに強く最適化されているようであり、Apple Siliconやその他のNVIDIA以外のハードウェアでモデルを実行しようとするユーザーの間で不満が生じていると指摘しています。
  • 実用性: エージェントによる出力の信頼性については、依然として懐疑的な見方が根強くあります。自律的なBlenderモデリングやドローンプログラミングを示すデモ動画は説得力がありますが、ユーザーはAIが生成したコードやデザインファイルの「乱雑さ」について慎重な姿勢を崩しておらず、手作業による修正が自動化によって節約された時間を相殺してしまうことが多いと指摘しています。

デプロイメントと可用性

モデルのウェイトと推論フレームワークを含むフルスタックは、Edge0 Hugging Face repositoryおよびEdge0 GitHub repositoryから入手可能です。開発者は、複雑な環境設定なしでモデルをテストしたいユーザー向けに、スタンドアロンアプリケーションも提供しています。

Sources

関連