floneum/kalosm

해결하는 문제

Kalosm는 로컬 또는 원격 AI 모델을 통합하는 애플리케이션 개발을 간소화하기 위해 설계된 Rust 기반 생태계입니다. 다양한 모달리티(텍스트, 오디오, 이미지)의 사전 훈련된 모델과 상호작용할 수 있는 통합 인터페이스를 제공하며, LLM용 구조화된 데이터 생성 및 컨텍스트 관리 도구도 포함합니다.

작동 방식

이 프로젝트는 두 가지 주요 구성 요소로 구성됩니다:

• Kalosm: 사전 훈련된 모델을 위한 고수준 인터페이스입니다. Llama, Mistral, Phi, Whisper, Segment Anything, Bert 등의 모델을 지원합니다. PDF, HTML, DOCX 등 다양한 파일 형식에서 컨텍스트를 추출하고, 텍스트를 청크로 나누며, 의미 검색을 위한 벡터 데이터베이스와 통합하는 유틸리티를 포함합니다.
• Fusor: GGUF 파일 형식을 사용하는 WGPU 기반의 양자화 ML 추론 런타임입니다. 커널 융합 컴파일러를 활용해 연산 체인을 단일 커널로 최적화하여, Nvidia, AMD, Metal 등의 다양한 가속기에서 네이티브로 실행하거나 WebGPU를 통해 브라우저 내에서 직접 실행할 수 있습니다.

대상 사용자

일관된 API, 로컬 양자화 모델 지원, 다양한 하드웨어 가속기에서 효율적인 모델 실행을 원하는 Rust 개발자입니다.

주요 특징

• 다중 모달리티 지원: LLM(텍스트), Whisper(오디오), Segment Anything(이미지) 모델에 대한 통합 지원.
• 구조화된 생성: 사용자 정의 파서 엔진과 샘플러를 사용해 문법 기반 제약을 통해 모델 출력을 특정 Rust 타입, JSON, HTML, XML로 제한합니다.
• Firestore 통합: LLM 컨텍스트를 공급하기 위한 컨텍스트 추출, 웹 크롤링, 스크래핑 유틸리티.
• 하드웨어 독립성: Fusor를 통해 WGPU를 사용해 다양한 GPU 아키텍처와 브라우저를 타겟으로 합니다.
• 양자화 추론: 메모리 및 계산 요구 사항을 줄이기 위해 양자화 모델의 네이티브 지원.