ggml-org/llama.vscode

解決的問題

它提供了一種將本地大型語言模型 (LLM) 直接集成到 VS Code 中的方法，用於實時文本補全、AI 聊天與代理式編程，從而減少對雲端 AI 服務的依賴。

工作原理

此擴充功能連接到運行在使用者機器上的 llama.cpp 伺服器。它使用相容 Fill-In-the-Middle (FIM) 的模型，在使用者輸入時提供自動建議。它還包含一個「Llama Agent」，可以使用內部工具、自定義 JavaScript 工具以及安裝在 VS Code 中的 Model Context Protocol (MCP) 伺服器與程式碼庫進行互動。

適用對象

想要使用離線運行、保護隱私且能在消費級硬體上運行的本地 AI 輔助編程工具的開發者。

亮點

• 本地 FIM 補全：具有可自定義確認鍵（Tab, Shift+Tab）的實時自動建議。
• Llama Agent：一個可以存取內部工具與 MCP 伺服器工具的代理式編程助手。
• 智慧上下文管理：透過智慧上下文復用，在低階硬體上支援大型上下文。
• 模型管理：能夠從 Hugging Face 搜尋、下載並將模型組織到「environments」（模型群組）中。
• 外部整合：包括用於遠端存取代理的 Telegram 機器人，以及用於開啟 VS Code 提示的深度連結支援。