algorithmicsuperintelligence/optillm

OptiLLM – OpenAI 호환 추론 프록시로 LLM 추론 강화

기능 – OptiLLM은 코드와 모든 OpenAI 호환 LLM(OpenAI, Anthropic, Google, Cerebras 등) 사이에 위치합니다. 채팅 완료 요청을 가로채서 하나 이상의 최적화 기법(best‑of‑N 샘플링, chain‑of‑thought 프롬프팅, self‑consistency, Monte‑Carlo‑Tree‑Search, Mixture‑of‑Agents 등)을 실행하고 최상의 답변을 반환합니다. 이 모든 것은 추론 시에 발생합니다. 모델 가중치는 변경되지 않으며, 파인튜닝도 필요 없습니다.

중요성 – 추론이 많이 필요한 작업(수학, 코딩, 논리)은 종종 여러 번의 "생각" 과정을 통해 이점을 얻습니다. 이러한 과정을 자동화하고 가장 신뢰할 수 있는 출력을 선택함으로써, OptiLLM은 동일한 기본 모델을 사용하면서 벤치마크 스위트에서 2~10배 더 높은 정확도를 제공할 수 있습니다. 추론 시 충분한 컴퓨팅 리소스가 있다면, 더 저렴한 모델(예: GPT‑4o‑mini)이 더 큰 모델(GPT‑4)의 성능에 필적하거나 능가할 수 있다는 주장입니다.

핵심 기능(README에 설명됨)

기능	설명
드롭인 OpenAI 프록시	`optillm`을 로컬에서 실행하고 클라이언트의 `base_url`을 `http://localhost:8000/v1`로 설정하면 기존 API 호출을 그대로 사용할 수 있습니다.
다중 공급자 지원	LiteLLM을 통해 OpenAI, Anthropic, Google Gemini, Cerebras, Azure OpenAI 등으로 호출을 전달할 수 있습니다.
20개 이상의 최적화 기법	best‑of‑N, chain‑of‑thought with reflection, self‑consistency, Monte‑Carlo Tree Search, R* 알고리즘, Z3 정리 증명기, 계획(CePO), Mixture‑of‑Agents 등이 포함됩니다.
제로 트레이닝	모든 기법은 추론 시에 적용됩니다. 기본 모델을 파인튜닝할 필요가 없습니다.
플러그인 아키텍처	플러그인은 메모리, 프라이버시(PII 마스킹), URL 가져오기, 코드 실행, 구조화된 JSON 출력, 웹 검색, 라우팅 등의 기능을 추가할 수 있습니다.
SSL 및 보안 제어	SSL 검증 비활성화(개발 전용), 사용자 지정 CA 인증서 제공, URL 가져오기 시 SSRF 방지 등의 옵션이 있습니다.
Docker 이미지	전체 이미지, 경량 프록시 전용 이미지, 모델이 사전 다운로드된 오프라인 이미지가 있습니다.
프로덕션 준비 힌트	로그, 헬스 체크 라우팅, 기본 서버가 안전을 위해 localhost에만 바인딩된다는 참고 사항이 있습니다.

사용 방법

설치 – pip install optillm(또는 Docker 이미지 풀).
프록시 시작 – API 키를 설정(export OPENAI_API_KEY=…)하고 optillm을 실행합니다. 서버는 Starting server with approach: auto와 같은 줄을 출력합니다.
코드에서 호출 – OpenAI 클라이언트를 프록시로 지정하고, 선택적으로 모델 이름 앞에 기법 슬러그를 추가합니다. 예:
```
client = OpenAI(base_url="http://localhost:8000/v1")
resp = client.chat.completions.create(
    model="moa-gpt-4o-mini",   # GPT‑4o‑mini에 Mixture‑of‑Agents 적용
    messages=[{"role": "user", "content": "Solve: 2x+3=7"}]
)
```
extra_body={"optillm_approach": "bon|mcts"}로 기법을 지정하거나 프롬프트에 <optillm_approach> 태그를 포함할 수도 있습니다.

보고된 성능

README에는 여러 기법의 벤치마크 향상이 나열되어 있습니다:

MARS를 Gemini Flash Lite에서 사용: AIME 2025에서 +30점(43.3 → 73.3).
CePO를 Llama‑3.3‑70B에서 사용: Math‑L5에서 +18.6점.
AutoThink를 DeepSeek‑R1‑1.5B에서 사용: GPQA‑Diamond에서 +9.34점.
MOA를 GPT‑4o‑mini에서 사용: Arena‑Hard‑Auto 스위트에서 GPT‑4에 필적.
PlanSearch를 GPT‑4o‑mini에서 사용: LiveCodeBench에서 pass@5 +20%. 이 숫자는 리포지토리에서 "전체 벤치마크 결과"로 제시됩니다(여기서는 재현되지 않음).

누가 혜택을 받을 수 있나요?

연구자 – 새 모델을 훈련하지 않고 고급 추론 기법을 실험하려는 분.
제품 팀 – 이미 OpenAI 호환 공급자를 사용 중이며 추론이 많이 필요한 엔드포인트의 정확도를 빠르게 높여야 하는 분.
개발자 – 메모리, 프라이버시, 웹 검색 기능을 추가할 수 있는 플러그 앤 플레이 프록시를 찾는 분.

제한 사항 및 고려 사항

컴퓨팅 비용 – best‑of‑N, MCTS, 다중 계획 패스와 같은 기법은 API 호출 수를 증가시키므로 요청당 비용이 더 높아집니다.
지연 시간 – 패스가 많을수록 응답 시간이 길어집니다. 이 프록시는 배치 또는 비실시간 워크로드에 가장 적합합니다.
보안 – 프록시는 외부 URL을 가져올 수 있습니다. README는 SSRF 및 DNS 리바인딩 위험을 경고하고, 높은 보안 환경에서는 네트워크 수준의 이그레스 제어를 권장합니다.
외부 API 의존성 – OptiLLM은 자체적으로 모델을 호스팅하지 않습니다(선택적 오프라인 이미지에 spaCy가 포함된 경우 제외). 기본 공급자의 가동 시간과 속도 제한에 의존합니다.

빠른 참조 요약

측면	세부 사항
패키지 이름	`optillm`(PyPI)
라이선스	오픈 소스(라이선스 파일은 배지에 링크됨)
주요 진입점	`optillm` CLI가 Flask 서버 시작
지원 공급자	OpenAI, Anthropic, Google Gemini, Cerebras, Azure OpenAI, 모든 LiteLLM 호환 모델
주요 기법	Best‑of‑N, Chain‑of‑Thought, Self‑Consistency, MCTS, Mixture‑of‑Agents, CePO, R*, Z3 등
플러그인	메모리, 프라이버시, URL 가져오기, 코드 실행, JSON 스키마, 웹 검색, 라우팅 등
설치	`pip install optillm` 또는 Docker(`ghcr.io/algorithmicsuperintelligence/optillm:latest`)
일반적인 사용 사례	재훈련 없이 기존 LLM API의 추론 정확도 향상

위의 모든 정보는 리포지토리의 README에서 직접 가져온 것이며, 외부 주장은 추가되지 않았습니다.