jasonacox/TinyLLM
Setup and run a local LLM and Chatbot using consumer grade hardware.
해결하는 문제
TinyLLM은 강력한 대규모 언어 모델(LLM)을 소비자용 하드웨어에서 로컬로 실행하는 문제를 해결합니다. 고성능 AI 모델과 표준 가정용 컴퓨터 사이의 가교 역할을 하여, 사용자가 값비싼 엔터프라이즈 인프라 없이도 개인 정보 보호와 제어권을 유지할 수 있도록 합니다.
작동 방식
이 프로젝트는 로컬 추론 엔진(Ollama, vLLM 또는 llama-cpp-python 등)과 사용자 친화적인 웹 인터페이스를 연결하는 브리지 역할을 합니다. 이러한 엔진은 OpenAI 호환 API를 통해 모델을 제공하며, TinyLLM 챗봇이 이를 사용합니다. 이 설정을 통해 브라우저를 통해 모델과 상호 작용하고, 대화 기록을 관리하며, 외부 웹 사이트 요약이나 뉴스 및 주가와 같은 실시간 데이터 가져오기 등의 작업을 수행할 수 있습니다.
대상 사용자
이 프로젝트는 소비자용 하드웨어(NVIDIA GPU 또는 Apple Silicon 등)를 보유하고 있으며, 클라우드 서비스에 의존하지 않고 자신만의 개인 AI 챗봇 환경을 호스팅하려는 개발자, 연구원 또는 애호가를 위한 것입니다.
주요 특징
- Ollama, vLLM, llama-cpp-python을 포함한 여러 인기 있는 추론 백엔드를 지원합니다.
- 다중 세션 대화 기록을 지원하는 ChatGPT와 유사한 웹 인터페이스를 제공합니다.
- 검색 증강 생성(RAG) 기능을 활성화하여 AI가 PDF, 외부 URL 및 벡터 데이터베이스를 처리할 수 있도록 합니다.
- 날씨, 주가, 뉴스 헤드라인과 같은 실시간 데이터 검색을 위한 내장 도구가 포함되어 있습니다.
llmCLI 도구와 호환되어 로컬 모델과 명령줄 상호 작용이 가능합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트