orailnoor/cross-platform-llm-client

해결하는 문제

PrivateLM은 대규모 언어 모델(LLM)과 상호작용하기 위한 통합된 크로스 플랫폼 인터페이스를 제공하여, 프라이버시에 중점을 둔 로컬 실행과 클라우드 기반 API의 강력함 사이에서 선택해야 하는 문제를 해결합니다. 사용자는 프라이버시와 오프라인 사용을 위해 모델을 전적으로 기기에서 실행할 수 있으며, 더 높은 성능이 필요할 때 주요 클라우드 제공업체로의 원활한 폴백을 제공합니다.

작동 방식

Flutter로 구축된 이 앱은 이중 추론 파이프라인을 사용합니다:

• 로컬 추론: Android 및 iOS에서 llama.cpp를 래핑하여 GGUF 모델을 실행합니다. 기기 하드웨어(RAM 및 GPU)를 자동으로 감지하여 스레드 수와 Vulkan/Metal GPU 가속을 최적화합니다.
• 클라우드 추론: 정규화 서비스가 OpenAI, Anthropic, Google Gemini 및 Kimi(Moonshot AI) API에 연결되어 사용자가 단일 UI 내에서 제공업체를 전환할 수 있습니다.
• 데이터 관리: 모든 채팅 기록, 설정 및 API 키는 Hive를 사용하여 기기에 로컬로 저장되므로, 클라우드 모드를 명시적으로 사용할 때만 데이터가 기기를 떠납니다.

대상 사용자

Android, iOS 및 웹 플랫폼에서 프라이빗한 오프라인 로컬 모델과 고성능 클라우드 LLM을 모두 지원하는 단일 AI 채팅 클라이언트를 원하는 사용자를 위해 설계되었습니다.

주요 특징

• 온디바이스 실행: Android(Vulkan) 및 iOS(Metal)에서 GGUF 모델을 로컬로 실행합니다.
• 하이브리드 모델 지원: 로컬 추론과 클라우드 API(OpenAI, Claude, Gemini, Kimi) 간을 원활하게 전환합니다.
• 멀티모달 기능: 텍스트 및 이미지 입력을 지원하며, Qwen2-VL과 같은 로컬 모델을 통한 비전 지원도 포함합니다.
• 하드웨어 최적화: 감지된 기기 RAM을 기반으로 컨텍스트 크기와 토큰 한도를 자동으로 권장합니다.
• 로컬 우선 프라이버시: 모든 세션과 구성을 Hive를 통해 로컬에 저장합니다.

요약

llama.cpp를 통한 로컬 온디바이스 LLM 추론과 클라우드 API 액세스를 통합하여 유연하고 프라이버시에 중점을 둔 채팅 경험을 제공하는 크로스 플랫폼 AI 채팅 클라이언트입니다.

제목

로컬 GGUF 추론과 클라우드 API 액세스를 통합하는 크로스 플랫폼 AI 채팅 클라이언트