floneum/kalosm

해결하는 문제

Kalosm은 Rust 애플리케이션에 사전 훈련된 AI 모델을 통합하기 위한 단순화되고 통합된 인터페이스를 제공합니다. 다양한 모델 아키텍처와 하드웨어 가속을 관리하는 복잡성을 제거하여, 텍스트, 오디오, 이미지 처리용 로컬 또는 원격 모델을 쉽게 배포할 수 있게 합니다.

작동 방식

이 프로젝트는 두 가지 주요 구성 요소로 구성됩니다.

1. Kalosm: 다양한 모달리티(예: Llama, Mistral, Phi, Whisper, BERT 등)에서 사전 훈련된 모델을 지원하는 고수준 인터페이스입니다. 다양한 파일 형식에서 컨텍스트 추출, 웹 크롤링, 그리고 커스텀 파서 엔진을 사용한 구조화 생성(모델 출력을 특정 Rust 타입이나 문법에 제약)을 위한 유틸리티를 포함합니다.
2. Fusor: 양자화된 ML 추론을 위한 컴파일러 기반 런타임입니다. e-graph 컴파일러를 사용해 연산 체인을 최적화된 커널로 융합하여 CPU 및 WebGPU 가속기에서 효율적인 로컬 추론을 가능하게 하며, 수동으로 쉐이더 코드를 작성할 필요가 없습니다.

대상 사용자

ML에 대한 깊은 전문 지식이나 하드웨어 특화 최적화 없이도 로컬 또는 원격 모델을 사용해 AI 기반 애플리케이션을 개발하고 싶은 Rust 개발자.

주요 특징

• 다중 모달 지원: LLM, 오디오 전사(Whisper), 이미지 세그멘테이션(SAM)의 통합 지원.
• 구조화 생성: #[derive(Parse, Schema)] 또는 사용자 정의 문법을 사용해 모델 출력을 임의의 Rust 타입에 제약 가능.
• JSON/HTML/XML 지원: 복잡한 데이터 형식 생성을 빠르고 구조 인식적으로 가속화.
• 하드웨어 가속: Fusor 런타임을 통해 CPU 및 WebGPU를 위한 최적화된 로컬 추론.
• RAG 유틸리티: PDF, HTML 및 기타 문서에서 컨텍스트 추출, 청크화, 검색을 위한 내장 도구.