0814wdwd/solo_jev

해결하는 문제

SOLO (System One Layout Optimizer)는 대규모 데이터셋에서 의사결정 모델을 실행할 때 발생하는 높은 지연 시간과 계산 비용 문제를 해결합니다. 모델이 단일 토큰(의사결정)만 반환하면 되는 경우에도 전체 입력 레코드(정책, 컨텍스트, 사용자 데이터)를 처리해야 합니다. 레코드 간에 콘텐츠가 중복되는 경우, 원래 순서대로 처리하면 동일한 프리픽스를 반복 계산하게 되어 연산 자원이 낭비됩니다. SOLO는 행과 필드를 재구성하여 입력 레이아웃을 최적화하고, 프리픽스 캐시 지원 백엔드(vLLM 등)의 재사용률을 극대화하여 처리량을 크게 높이고 프리필(prefill) 시간을 단축합니다.

작동 원리

SOLO는 LLM 기반 의사결정 모델로 데이터를 보내기 전에 데이터를 재구성하는 백엔드 독립적 플래너로 작동합니다:

1. 정규화: 모든 필드와 원래 행 ID를 유지합니다.
2. 레이아웃 계획: 데이터를 분석하여 가장 작은 고유 프리픽스 조합을 생성하는 열과 행 그룹화를 식별하고, 캐시 적중 가능성을 극대화합니다.
3. 실행: 재구성된 레코드를 동시성 클라이언트를 통해 프리픽스 캐시 지원 백엔드(vLLM 등)로 전송합니다.
4. 복원: 의사결정을 받은 후, 출력을 원래의 행 순서와 인덱스로 복원합니다.

대상 사용자

이 도구는 중복된 정책, 계정 컨텍스트 또는 상관관계가 있는 필드가 포함된 레코드를 다루며, 프리필 시간이 전체 실행 시간의 상당 부분을 차지하는 구조화된 워크로드를 작업하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 상당한 처리량 향상: 긴 공유 컨텍스트를 가진 합성 워크로드에서 원래 순서 대비 최대 11.7배의 처리량 향상을 입증했습니다.
• 백엔드 독립성: 이 레이아웃 최적화 도구는 특정 추론 엔진과 독립적으로 작동하지만, 프리픽스 캐시 지원 백엔드에 최적화되어 있습니다.
• 유연한 입력 지원: Pandas DataFrames, NumPy arrays, JSON/JSONL 파일 및 중첩 객체를 지원합니다.
• 통합 의사결정 모델: Qwen3.5-9B를 기반으로 구축된 오픈 의사결정 모델인 AutoTrust JEV-9B용 백엔드가 포함되어 있습니다.
• 진단 도구: 컬럼의 NDV(고유값 개수)와 프리픽스 조합을 통해 데이터셋 내의 재사용 가능한 구조를 진단하는 explain 메서드가 포함되어 있습니다.