Gemini Decision 1 및 Decisions API 릴리스 노트
개요
Google은 새로운 Gemini Decision 1 모델을 기반으로 하는 Gemini Decisions API를 출시했습니다. 이 서비스는 고처리량, 저지연 분류 작업을 위해 설계되었으며, 개발자가 단일 순방향 패스(forward pass) 내에서 예/아니오, 객관식, 루브릭 기반 채점을 포함한 최대 1,000개의 질문을 멀티모달 입력에 대해 평가할 수 있도록 지원합니다. 토큰 단위 생성 과정을 우회함으로써 이 API는 150~250ms의 엔드투엔드 지연 시간을 달성합니다.
핵심 기능 및 아키텍처
Gemini Decision 1 모델은 네이티브 멀티모달 아키텍처를 기반으로 구축되어 텍스트, 이미지, 오디오, 비디오 및 PDF 문서를 동시에 처리할 수 있습니다. 텍스트를 출력하는 일반적인 생성 모델과 달리, Decisions API는 정의된 범주에 대한 확률과 신뢰도 점수를 반환합니다.
주요 결정 유형은 다음과 같습니다:
- noul (예/아니오): 조건이 참일 확률을 추정합니다.
- choice (객관식): 2개에서 255개의 옵션 중 정규화된 확률로 선택합니다.
- score (순차적 루브릭): 사전 정의된 루브릭을 기반으로 연속적인 가중치 점수를 할당합니다.
이 모델은 토큰 단위 디코딩을 수행하지 않기 때문에 분류 작업에서 훨씬 더 효율적입니다. 사용자는 입력 토큰 100만 개당 $0.10의 비용을 지불하며, 출력 토큰에 대한 비용은 청구되지 않으므로 대규모 의사결정 워크플로우를 위한 비용 효율적인 대안이 됩니다.
산업 분야별 활용 사례
Google은 현재 여러 내부 제품에서 Decisions API를 저지연 제어 평면(control plane)으로 활용하고 있습니다:
- 모델 라우팅: Gemini Notebook은 이 API를 사용하여 사용자 의도를 분류하고 적절한 모델 계층으로 쿼리를 라우팅하여 단순 작업의 지연 시간을 줄입니다.
- 디자인 반복: Stitch 디자인 도구는 이 API를 사용하여 음성 및 탭 입력을 처리하고 와이어프레임을 실시간으로 업데이트합니다.
- 안전 및 조정: Google 검색은 엄격한 지연 시간 제약 내에서 적대적 콘텐츠와 행동을 감지하기 위해 이 API를 사용합니다.
커뮤니티 인사이트 및 토론
개발자들은 이 API의 독보적인 멀티모달 지원과 기존 의사결정 모델 대비 경쟁력 있는 성능에 주목하고 있습니다. 일부 사용자는 가격이 전문화된 대안보다 높다고 지적했지만, 오디오와 비디오를 직접 입력할 수 있다는 점은 중요한 차별화 요소로 평가받고 있습니다.
"이것은 실제로 오디오, 비디오, PDF를 처리하는 최초의 의사결정 AI로 보이며, 왜 이 점이 어디서나 강조되지 않는지 놀랍습니다... 2% 더 높은 점수 때문에 이 모델을 선택하는 사람은 없겠지만, PDF나 통화 내용을 바탕으로 답변할 수 있다는 점은 획기적입니다." — @handle
일부 커뮤니티 구성원들은 전용 의사결정 API의 필요성과 표준 LLM 사용 간의 차이에 대해 의문을 제기했으며, 다른 이들은 초기 "Jev" 스타일 의사결정 API의 영향력에 대한 언급이 부족하다는 점에 우려를 표했습니다. 기술적 사용자들은 또한 API가 제공하는 신뢰도 점수의 중요성을 언급했는데, 이는 모델의 신뢰도가 낮을 때 사람 검토자에게 자동으로 라우팅할 수 있게 해줍니다.
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch