incoai/splash

何を解決するか

Splash は Apple silicon（M3 以降）に特化して最適化されたローカル推論エンジンで、1台の Mac 上で大規模言語モデル（LLM）、コーディングエージェント、視覚対応モデルを高パフォーマンスで実行できるようにします。

動作方法

DFlash 2 の予測的デコード、専用の Metal カーネル、自動メモリ計画を組み合わせることで、高速な処理を実現しています。キャッシュされたプレフィックスを再利用し、同時に複数のリクエストを自動バッチ処理することで、スループットを最大化します。GGUF および MLX 4ビット形式をサポートしており、ローカルコンパイルや Xcode を必要とせずに、読み込み時に重みをカーネルレイアウトに変換します。

対象ユーザー

Apple silicon Mac（特に M3 以降）を使用し、高パフォーマンスなローカル LLM、コーディングエージェント、または OpenAI/Anthropic互換アプリをローカルで実行したい開発者や AI 研究者。

特徴

• 高パフォーマンス: Apple silicon 上で llama.cpp よりも大幅に高速なデコード速度。
• 広範な互換性: OpenAI および Anthropic API 標準をサポート。ストリーミング、ツール呼び出し、JSON スキーマ出力、インライン PDF を含む。
• ハードウェア最適化: Apple silicon 専用に設計され、専用の Metal カーネルと自動メモリ/コンテキストサイズ調整を備えています。
• 統合機能: 組み込みチャットページと視覚対応モデルのサポートを備えています。