orailnoor/cross-platform-llm-client

해결하는 문제

PrivateLM은 개인 정보 보호를 중시하는 로컬 실행과 클라우드 기반 LLM의 강력함 사이의 딜레마를 해결하는 통합적이고 크로스플랫폼 인터페이스를 제공합니다. 사용자는 데이터의 프라이버시를 보장하기 위해 모델을 완전히 디바이스 내에서 실행하거나, 더 복잡한 작업을 위해 클라우드 API로 전환할 수 있습니다.

작동 방식

Flutter로 구축된 이 앱은 이중 추론 파이프라인을 사용합니다. Android 및 iOS에서의 로컬 실행을 위해 llama_flutter_android를 통해 llama.cpp를 래핑하여 GPU 가속(안드로이드는 Vulkan, iOS는 Metal)을 사용해 GGUF 모델을 실행합니다. 클라우드 접근을 위해 OpenAI, Anthropic, Google Gemini, Kimi API에 연결하는 표준화된 서비스를 제공합니다. 앱은 디바이스의 RAM을 자동 감지하여 최적의 설정을 추천하며, Hive를 사용해 모든 채팅 기록과 API 키를 로컬에 저장합니다.

대상 사용자

Android, iOS, Web 플랫폼에서 개인 정보 보호를 위한 오프라인 로컬 모델과 고성능 클라우드 LLM을 모두 지원하는 단일 AI 채팅 클라이언트를 원하는 사용자들입니다.

주요 기능

• 하이브리드 추론: 로컬 GGUF 모델과 클라우드 API(OpenAI, Claude, Gemini, Kimi) 간을 원활하게 전환 가능.
• 하드웨어 최적화: 자동 RAM 감지 및 GPU 가속을 통해 디바이스 내 성능 최적화.
• 다중 모달 지원: 텍스트와 이미지 전송이 가능하며, 로컬에서 Qwen2-VL과 같은 비전 모델을 지원.
• 프라이버시 우선: Hive를 통해 세션과 키를 로컬에 저장하여 로컬 모드에서는 데이터가 디바이스 외부로 나가지 않도록 보장.
• 작업 관리: 표준 채팅 외에도 구조화된 AI 워크플로우를 위한 전용 뷰를 포함.