huggingface/llm-vscode

解決的問題

llm-vscode 為 Visual Studio Code 提供 AI 驅動的程式碼補全功能，讓開發者在輸入時能像 GitHub Copilot 一樣接收即時的「幽靈文字」建議。它同時解決了程式碼歸屬的需求，讓使用者能檢查生成的程式碼是否與 The Stack 等現有資料集相符。

運作方式

此擴充功能使用 llm-ls 作為其後端語言伺服器。它會向設定好的 LLM 後端（例如 Hugging Face Inference API、Ollama、相容 OpenAI 的 API 或 Text Generation Inference (TGI)）發送 HTTP 請求以獲取程式碼建議。為了確保提示詞符合模型的上下文視窗，它利用 tokenizers 函式庫來計算 Token 數量。

適用對象

希望將基於 LLM 的程式碼補全整合到工作流程中，並使用託管 API 或自有本地 LLM 端點的 Visual Studio Code 開發者。

特色亮點

• 靈活的後端支援：支援多種後端，包括 Hugging Face、Ollama、相容 OpenAI 的 API 以及 TGI。
• 上下文視窗管理：使用 tokenizers 自動調整提示詞大小以符合上下文視窗。
• 程式碼歸屬：透過 Bloom filter 檢查，快速確認生成的程式碼是否存在於 The Stack 資料集中。
• 可自訂的建議：提供自動建議行為的設定，以及文件篩選器，可將建議限制在特定檔案類型或路徑。
• 模型選擇：允許使用者輕鬆切換不同模型，包括 Code Llama、Phind 和 WizardCoder。