techjarves/Uncensored-Local-AI-Multiplatform

해결하는 문제

이 프로젝트는 클라우드 서비스, 구독 또는 기업의 안전 필터에 의존하지 않고 모바일 및 데스크톱 기기에서 직접 오픈 소스, 무검열 AI 모델을 실행할 수 있는 방법을 제공합니다.

작동 방식

Flutter 프레임워크를 사용하여 구축되고 llama.cpp 엔진으로 구동되는 이 애플리케이션을 통해 사용자는 GGUF 형식의 모델을 로컬에 다운로드하고 실행할 수 있습니다. 모델 저장소를 관리하고, 채팅 인터페이스를 제공하며, OpenAI 호환 API를 노출하는 내장 HTTP 서버를 포함하여 다른 로컬 도구 및 스크립트와의 통합을 지원합니다.

대상 사용자

콘텐츠 제한 없이 AI 모델에 비공개로 오프라인 액세스하기를 원하며, 초기 모델 다운로드 후 인터넷 연결이 필요 없는 사용자에게 적합합니다.

주요 특징

• 무검열: 기업의 안전 필터나 거부 기능이 포함되지 않은 모델을 실행합니다.
• 완벽한 개인정보 보호: 모든 처리 과정과 대화 기록은 전적으로 사용자의 기기에만 남습니다.
• 크로스 플랫폼: Android 및 iOS를 지원하며, 커뮤니티에서 지원하는 Windows, macOS, Linux용 빌드도 제공됩니다.
• 로컬 API 서버: 외부 애플리케이션과 연결하기 위한 OpenAI 호환 REST API가 포함되어 있습니다.
• 리소스 모니터링: 초당 토큰 수 및 모델 로딩 진행률과 같은 실시간 성능 지표를 표시합니다.