Rizzo-AI-Academy/rizzo-flow

The open, local take on Jev: typed decisions from an LLM, without generating a single token

해결하는 문제

Rizzo Flow 는 TypeSafe 의 Jev 에 대한 로컬 및 오픈소스 대안을 제공하여, 텍스트 토큰을 생성하지 않고도 LLM 로부터 yes/no, 점수, 다중 선택 옵션과 같은 타입화된 결정을 얻을 수 있게 해줍니다. 이는 비구조화된 텍스트 출력을 파싱할 필요를 제거하고, 자체 하드웨어에서 확률적 결과를 제공합니다.

작동 방식

llama.cpp 에서 실행되는 Spark-X2.5 모델의 파인튜닝 버전(4B 및 1.7B 크기로 제공)을 사용합니다. 텍스트 생성 대신, 미리 정의된 답변 문자에 대한 확률 분포를 단일 프로퍼그레이션으로 생성합니다. Jev HTTP 인터페이스와 호환되므로, Jev용으로 작성된 코드는 API URL만 변경하면 Rizzo Flow 로 쉽게 전환할 수 있습니다.

대상 사용자

Apple Silicon, NVIDIA, AMD, Intel GPU 또는 CPU에서 로컬 하드웨어에서 LLM 으로부터 빠르고 타입화된 결정이 필요한 개발자이며, 호스팅 서비스의 지연과 프라이버시 문제를 피하고자 하는 분들.

주요 특징

생성 토큰 없음: 텍스트 생성 없이 모델의 마지막 프롬프트 위치에서 직접 타입화된 결정과 확률을 반환합니다.
로컬 우선: llama.cpp 를 사용하여 CUDA, Metal, Vulkan, ROCm, SYCL 등 다양한 GPU 백엔드를 지원하는 자체 머신에서 완전히 실행됩니다.
결정에 최적화된 파인튜닝: 기본 Spark-X2.5 모델보다 확률의 형태와 정확도를 향상시키기 위해 커스텀 LoRA 파인튜닝을 포함합니다.
고성능: 요청당 50ms ~ 150ms 내에 결정을 수행할 수 있습니다.
Jev 호환 API: 폐쇄형 Jev 서비스와 동일한 HTTP 인터페이스를 유지하여 마이그레이션을 쉽게 합니다.
내장 플레이그라운드: 실시간으로 상태와 질문을 테스트할 수 있는 웹 기반 인터페이스를 제공합니다.

Rizzo-AI-Academy/rizzo-flow

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련