huggingface/llm-vscode

解决的问题

llm-vscode 为 Visual Studio Code 提供 AI 驱动的代码补全功能，让开发者在输入时能像 GitHub Copilot 一样接收实时的“幽灵文本”建议。它同时解决了代码归属的需求，让用户能检查生成的代码是否与 The Stack 等现有数据集相符。

运作方式

此扩展使用 llm-ls 作为其后端语言服务器。它会向配置好的 LLM 后端（例如 Hugging Face Inference API、Ollama、兼容 OpenAI 的 API 或 Text Generation Inference (TGI)）发送 HTTP 请求以获取代码建议。为了确保提示词符合模型的上下文窗口，它利用 tokenizers 库来计算 Token 数量。

适用对象

希望将基于 LLM 的代码补全集成到工作流程中，并使用托管 API 或自有本地 LLM 端点的 Visual Studio Code 开发者。

特色亮点

• 灵活的后端支持：支持多种后端，包括 Hugging Face、Ollama、兼容 OpenAI 的 API 以及 TGI。
• 上下文窗口管理：使用 tokenizers 自动调整提示词大小以符合上下文窗口。
• 代码归属：通过 Bloom filter 检查，快速确认生成的代码是否存在于 The Stack 数据集中。
• 可自定义的建议：提供自动建议行为的配置，以及文档过滤器，可将建议限制在特定文件类型或路径。
• 模型选择：允许用户轻松切换不同模型，包括 Code Llama、Phind 和 WizardCoder。