Flide 0.1.10 릴리스 노트: Jev 스타일 의사결정 모델을 위한 고속 추론

Flide는 Jev 스타일 의사결정 모델에 최적화된 추론 인프라입니다. "정확한 상태 포킹(exact state forking)"이라는 기술을 구현하여, 엔진은 vLLM 및 SGLang과 같은 표준 엔진 대비 최대 9.5배 빠른 추론 속도를 달성하면서도 출력의 정확성을 유지합니다.

핵심 기술: 정확한 상태 포킹

Flide의 주요 성능 향상은 단일 입력 상태에서 파생된 여러 질문을 처리하는 방식에서 비롯됩니다. 기존 LLM 추론 엔진에서는 공유 입력 데이터를 반복적으로 처리하는 과정에서 병목 현상이 발생합니다. Flide는 공유 입력을 한 번만 계산한 뒤 상태를 포킹하여 단일 순방향 패스(forward pass)에서 여러 질문에 답변함으로써 이를 최적화합니다. 이 아키텍처는 단일 컨텍스트(예: 고객 지원 티켓 또는 데이터 로그)에 대해 여러 개의 개별 분류나 작업이 필요한 의사결정 작업에 특히 효과적입니다.

성능 및 호환성

Flide는 Jev /v1/systemone API를 지원하도록 설계되어 기존 Jev 스타일 워크플로우를 즉시 대체할 수 있습니다. 이 엔진은 다음과 같은 다양한 의사결정 모델을 지원합니다:

  • 모델 제품군: OneJev, Qwen3.5, Gemma 4와 같은 모델 및 Ainvest-Decision, KnowLine, Perplexity의 decider와 같은 다양한 특수 의사결정 모델을 지원합니다.
  • 하드웨어 효율성: 최신 GPU에서 처리량을 극대화하도록 구축되었으며, Ada, Hopper 및 Blackwell 아키텍처에서의 FP8 양자화에 대한 특정 최적화가 포함되어 있습니다.
  • 벤치마킹: 성능 향상 폭은 모델과 워크로드에 따라 다릅니다. 예를 들어, 일부 모델은 완만한 개선을 보이는 반면, 복잡한 MultiRC 또는 QuALITY 작업을 처리하는 모델은 기준 엔진 대비 9배 이상의 속도 향상을 보여줍니다.

시작하기

Flide는 PyPI를 통해 제공되며 uv 또는 pip를 사용하여 설치할 수 있습니다. 이 엔진은 모델 서빙을 위한 CLI를 제공하여 로컬 개발 또는 프로덕션 환경에서의 배포 과정을 간소화합니다.

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-0.8B

서버가 실행되면 /v1/systemone 엔드포인트는 공유 상태와 여러 질문이 포함된 JSON 페이로드를 수락하며, 이를 통해 엔진이 최적화된 포킹 로직을 실행할 수 있게 합니다.

구성 옵션

Flide에는 특정 하드웨어 및 사용 사례에 맞춰 성능을 조정할 수 있는 여러 플래그가 포함되어 있습니다:

  • --session-cache-gb: 이전 요청 상태를 캐싱하여 순차적인 에이전트 단계에 대한 재계산을 최소화합니다.
  • --batch-invariant: 배치 처리와 관계없이 결정론적 출력을 보장하며, 일관성을 위해 약간의 속도를 희생합니다.
  • --frontends: HTTP, 렌더링 및 토큰화를 별도의 프로세스로 오프로드하여 더 높은 클라이언트 동시성을 처리합니다.

커뮤니티 인사이트

Flide를 탐색하는 개발자들은 단일 입력이 여러 의사결정 기반 쿼리를 트리거하는 데이터셋에서 이 도구의 유용성을 언급했습니다. 관리자들은 단일 질문 시나리오에서도 입력 길이와 모델 아키텍처에 따라 최대 3배의 속도 향상을 달성할 수 있다고 강조합니다. 기반 연구에 관심이 있는 분들을 위해 팀은 논문 "Flide: Accelerating Decision Inference with Exact State Forking" (arXiv:2610.42148)을 통해 방법론을 공개했습니다.

Sources