ggml-org/llama.vscode

해결하는 문제

로컬 대규모 언어 모델(LLM)을 VS Code에 직접 통합하여 실시간 텍스트 완성, AI 채팅 및 에이전트 코딩을 제공함으로써 클라우드 기반 AI 서비스에 대한 의존도를 낮춥니다.

작동 방식

이 확장 프로그램은 사용자의 컴퓨터에서 실행 중인 llama.cpp 서버에 연결됩니다. Fill-In-the-Middle (FIM) 호환 모델을 사용하여 사용자가 타이핑하는 동안 자동 제안을 제공합니다. 또한 내부 도구, 사용자 정의 JavaScript 도구 및 VS Code에 설치된 Model Context Protocol (MCP) 서버를 사용하여 코드베이스와 상호 작용할 수 있는 "Llama Agent"가 포함되어 있습니다.

대상 사용자

오프라인에서 작동하고, 프라이버시를 유지하며, 소비자급 하드웨어에서 실행 가능한 로컬 AI 지원 코딩 도구를 원하는 개발자.

주요 특징

• 로컬 FIM 완성: 사용자 정의 수락 키(Tab, Shift+Tab)를 통한 실시간 자동 제안.
• Llama Agent: 내부 도구 및 MCP 서버 도구에 액세스할 수 있는 에이전트형 코딩 어시스턴트.
• 스마트 컨텍스트 관리: 스마트한 컨텍스트 재사용을 통해 저사양 하드웨어에서도 대규모 컨텍스트 지원.
• 모델 관리: Hugging Face에서 모델을 검색, 다운로드 및 "environments"(모델 그룹)로 정리하는 기능.
• 외부 통합: 에이전트에 대한 원격 액세스를 위한 Telegram 봇 및 VS Code 프롬프트를 여는 딥링크 지원 포함.