ggml-org/llama.vscode

解決する課題

ローカルの大規模言語モデル（LLM）をVS Codeに直接統合し、リアルタイムのテキスト補完、AIチャット、エージェントによるコーディングを提供することで、クラウドベースのAIサービスへの依存を軽減します。

仕組み

この拡張機能は、ユーザーのマシンで実行されている llama.cpp サーバーに接続します。Fill-In-the-Middle (FIM) 互換モデルを使用して、ユーザーの入力に合わせて自動補完を提供します。また、内部ツール、カスタムJavaScriptツール、およびVS CodeにインストールされたModel Context Protocol (MCP) サーバーを使用してコードベースと対話できる「Llama Agent」も含まれています。

対象者

オフラインで動作し、プライバシーを維持し、コンシューマーグレードのハードウェアで実行可能なローカルAI支援コーディングツールを求める開発者。

ハイライト

• ローカルFIM補完: カスタマイズ可能な確定キー（Tab、Shift+Tab）によるリアルタイムの自動補完。
• Llama Agent: 内部ツールおよびMCPサーバーツールにアクセスできるエージェント型コーディングアシスタント。
• スマートなコンテキスト管理: スマートなコンテキスト再利用により、低スペックのハードウェアでも大規模なコンテキストをサポート。
• モデル管理: Hugging Faceからモデルを検索、ダウンロード、および「environments」（モデルのグループ）として整理する機能。
• 外部連携: エージェントへのリモートアクセス用のTelegramボットと、VS Codeのプロンプトを開くためのディープリンクをサポート。