huggingface/llm-vscode

해결하는 문제

llm-vscode는 Visual Studio Code에 AI 기반 코드 완성 기능을 제공하여, 개발자가 타이핑할 때 GitHub Copilot과 유사한 실시간 "고스트 텍스트" 제안을 받을 수 있도록 합니다. 또한 코드 귀속(code attribution) 문제를 해결하여, 생성된 코드가 The Stack과 같은 기존 데이터셋과 일치하는지 확인할 수 있습니다.

작동 방식

이 확장 프로그램은 llm-ls를 백엔드 언어 서버로 사용합니다. 설정된 LLM 백엔드(Hugging Face Inference API, Ollama, OpenAI 호환 API 또는 Text Generation Inference (TGI) 등)로 HTTP 요청을 보내 코드 제안을 가져옵니다. 프롬프트가 모델의 컨텍스트 윈도우 내에 맞도록 tokenizers 라이브러리를 사용하여 토큰 수를 계산합니다.

대상 사용자

호스팅된 API나 자체 로컬 LLM 엔드포인트를 사용하여 LLM 기반 코드 완성을 워크플로우에 통합하려는 Visual Studio Code 사용자.

주요 특징

• 유연한 백엔드 지원: Hugging Face, Ollama, OpenAI 호환 API, TGI 등 다양한 백엔드를 지원합니다.
• 컨텍스트 윈도우 관리: tokenizers를 사용하여 프롬프트 크기를 컨텍스트 윈도우에 맞게 자동으로 조정합니다.
• 코드 귀속: Bloom 필터 검사를 통해 생성된 코드가 The Stack 데이터셋에 존재하는지 빠르게 확인합니다.
• 사용자 정의 가능한 제안: 자동 제안 동작 설정 및 특정 파일 형식이나 경로로 제안을 제한하는 문서 필터를 제공합니다.
• 모델 선택: Code Llama, Phind, WizardCoder 등 다양한 모델 간에 쉽게 전환할 수 있습니다.