ggml-org/llama.vscode

解决的问题

它提供了一种将本地大语言模型 (LLM) 直接集成到 VS Code 中的方法，用于实时文本补全、AI 聊天和代理式编程，从而减少对云端 AI 服务的依赖。

工作原理

该扩展程序连接到运行在用户机器上的 llama.cpp 服务器。它使用兼容 Fill-In-the-Middle (FIM) 的模型，在用户输入时提供自动建议。它还包含一个“Llama Agent”，可以使用内部工具、自定义 JavaScript 工具以及安装在 VS Code 中的 Model Context Protocol (MCP) 服务器与代码库进行交互。

适用对象

想要使用离线运行、保护隐私且能在消费级硬件上运行的本地 AI 辅助编程工具的开发者。

亮点

• 本地 FIM 补全：具有可自定义确认键（Tab, Shift+Tab）的实时自动建议。
• Llama Agent：一个可以访问内部工具和 MCP 服务器工具的代理式编程助手。
• 智能上下文管理：通过智能上下文复用，在低端硬件上支持大型上下文。
• 模型管理：能够从 Hugging Face 搜索、下载并将模型组织到“environments”（模型组）中。
• 外部集成：包括用于远程访问代理的 Telegram 机器人，以及用于打开 VS Code 提示的深度链接支持。