huggingface/llm-vscode

解決する課題

llm-vscodeは、Visual Studio CodeにAI駆動のコード補完機能を提供します。GitHub Copilotのように、入力中にリアルタイムで「ゴーストテキスト」による提案を受け取ることができます。また、コード帰属（コードの出所確認）のニーズにも対応しており、生成されたコードがThe Stackなどの既存のデータセットと一致するかを確認できます。

仕組み

この拡張機能は、バックエンドの言語サーバーとして llm-ls を使用します。設定されたLLMバックエンド（Hugging Face Inference API、Ollama、OpenAI互換API、Text Generation Inference (TGI)など）にHTTPリクエストを送信し、コードの提案を取得します。プロンプトがモデルのコンテキストウィンドウ内に収まるように、tokenizers ライブラリを使用してトークン数を計算します。

対象ユーザー

ホストされたAPIまたは独自のローカルLLMエンドポイントを使用して、LLMベースのコード補完をワークフローに統合したいVisual Studio Codeユーザー。

主な特徴

• 柔軟なバックエンドサポート: Hugging Face、Ollama、OpenAI互換API、TGIなど、複数のバックエンドをサポートしています。
• コンテキストウィンドウ管理: tokenizersを使用して、プロンプトをコンテキストウィンドウに収まるように自動調整します。
• コード帰属確認: Bloomフィルターチェックを通じて、生成されたコードがThe Stackデータセットに存在するかを迅速に確認します。
• カスタマイズ可能な提案: 自動提案の動作設定や、特定のファイルタイプやパスに提案を制限するドキュメントフィルターを提供します。
• モデル選択: Code Llama、Phind、WizardCoderなど、異なるモデルを簡単に切り替えることができます。