oobabooga/textgen

해결하는 문제

TextGen은 사용자가 자체 하드웨어에서 대규모 언어 모델(LLM)을 로컬로 실행할 수 있는 데스크톱 애플리케이션입니다. 이로 인해 100%의 프라이버시와 텔레메트리 없이 안전하게 사용할 수 있습니다. 모델과 상호작용할 수 있는 포괄적인 인터페이스를 제공하여, 로컬 추론 엔진 설정 및 모델 파일 관리의 복잡성을 제거합니다.

작동 방식

앱은 다양한 모델 형식과 하드웨어 가속(CUDA, Vulkan, ROCm, CPU)을 지원하기 위해 여러 백엔드를 통합합니다. GGUF(llama.cpp를 통해), Transformers, ExLlamaV3, TensorRT-LLM을 지원합니다. 사용자는 모델 파일을 다운로드하여 앱이 자동으로 감지할 수 있는 지정된 폴더에 넣기만 하면 됩니다.

대상 사용자

프라이버시를 중시하는 사용자, AI 애호가, 클라우드 API에 의존하지 않고 로컬에서 LLM을 실행하고 싶은 개발자, 또는 로컬에서 파인튜닝(LoRA) 또는 이미지 생성을 원하는 사용자.

주요 기능

• 다중 모달 기능: 시각적 이해를 위한 비전 모델과 PDF, .docx, 텍스트 파일 첨부 기능을 지원하여 문서 기반 채팅이 가능합니다.
• 유연한 인터페이스: ChatGPT처럼 작동하는 instruct 모드, 사용자 정의 캐릭터용 chat 모드, 자유로운 생성용 노트북이 포함되어 있습니다.
• 로컬 API: OpenAI/Anthropic 호환 API를 제공하여 로컬에서 즉시 대체 사용이 가능합니다.
• 도구 호출: 모델이 사용자 정의 Python 함수(웹 검색, 수학 계산 등)를 실행할 수 있으며, MCP 서버도 지원합니다.
• LoRA 학습: 채팅 또는 원시 텍스트 데이터셋에서 LoRA의 파인튜닝을 내장 지원합니다.
• 이미지 생성: diffusers 모델 전용 탭을 제공하며, 양자화 및 지속적인 갤러리 기능이 있습니다.
• 프라이버시: 외부 리소스 요청 없이 완전히 오프라인으로 작동합니다.