Mixedbread Toast 1 전문 검색 에이전트 출시

Toast 1은 비용의 일부로 선도적 수준의 검색을 제공합니다

Toast 1은 Mixedbread의 첫 번째 전문 검색 에이전트로, Claude Opus 5 및 GPT-5.6 Sol과 같은 최상위 모델과 동일하거나 더 높은 답변 품질을 달성합니다. 비용은 최대 10배 저렴하고, 쿼리 처리 속도는 12배 빠릅니다. 이 에이전트는 독립적인 검색 시스템으로 사용하거나, 어떤 선도적 모델의 하위 에이전트로도 활용할 수 있으며, 검색 루프 전체를 완전히 제어합니다. 쿼리 분해, 증거 수집, 소스 검토, 컨텍스트 정제 후 추론 모델에 결과를 전달합니다.

기업 기준에서의 비용-성능 혁신

OfficeQA Pro V2

  • 1건당 약 $1.15에 70% 정확도 – Databricks의 OfficeQA Pro V2 벤치마크에서 보고된 최고 점수.
  • 반면, Databricks Genie에서의 Claude Fable 5는 1건당 약 $4에 60% 정확도를 기록했고, Toast 1 없이 GPT-5.6 Sol은 단지 33% 정확도에 그쳤습니다.
  • 이 개선은 Toast 1이 토큰 효율적인 증거 패키지를 생성할 수 있기 때문이며, 선도적 모델이 계산을 추론에 집중할 수 있도록 해줍니다.

“Codex 내에서 하위 에이전트로 제공되는 GPT-5.6 Sol에 Toast 1을 적용하면, 1건당 약 $1.20에 70% 정확도를 달성하며, Databricks 평가에서 이전의 파레토 최적 경계를 초과합니다.” – Mixedbread 블로그

Harvey LAB 법무법인 지식 벤치마크

  • 세 가지 구성에서 동일한 작업 점수인 55를 기록했지만, 토큰 사용량은 80.6M(기본 에이전트) → 47M(Mixedbread Search 사용 시) → 23M(Toast 1 사용 시)로 감소했습니다.
  • 작업당 라운드 수는 21.7 → 14.6 → 11.2로 감소하여, 토큰 소비량은 3.5배 감소하고, 비용은 60% 이상 절감되었습니다.
  • 이 벤치마크는 더 높은 품질의 검색이 답변 품질을 훼손하지 않으며, 오히려 프로세스를 훨씬 효율적으로 만든다는 점을 보여줍니다.

심층 검색 벤치마크에서의 성능

  • 중앙 지연 시간: 표준 구성에서 쿼리당 8초, 최고 품질 융합 모드에서는 11초.
  • 쿼리당 비용: 표준 모드는 $0.016$0.023, 융합 모드는 $0.05$0.07.
  • 선도적 모델 검색 에이전트가 20초에서 4분이 소요되는 것과 비교해 Toast 1은 7~11배 저렴하고 훨씬 빠릅니다.
  • BrowseComp Plus, OfficeQA Pro, LongSeal과 같은 벤치마크에서 Toast 1은 최고의 선도적 모델 성능을 따라가거나 근접하면서도, 더 낮은 비용-지연 시간 계층에 머물러 있습니다.

통합 유연성

백엔드 무관 설계

  • Toast 1은 Mixedbread Search와 공동 설계되었지만, 기존의 어떤 검색 인덱스와도 호환됩니다. 데이터 마이그레이션은 필요 없습니다.
  • Mixedbread Chat Completions API 또는 제공된 골든 허니스(GitHub: mixedbread-ai/toast-harness)를 통해 기존 에이전트 워크플로에 쉽게 추가할 수 있습니다.

코드 에이전트 지원

  • 코드 에이전트와의 통합은 단일 명령어로 가능: npx skills add mixedbread-ai/skills.
  • OpenCode 통합을 통해 코드 중심 파이프라인에서 직접 하위 에이전트로 사용할 수 있습니다.

Mixedbread Stores와 함께 사용하는 예제 Python 코드

from mixedbread import Mixedbread
client = Mixedbread()
results = client.stores.search(
    store_identifiers=["legal-documents"],
    query="does the MSA allow assignment on a change of control?",
    search_options={"agentic": True},  # Toast 1 활성화
)

가격 및 제공 여부

  • 출시 가격(할인 적용):
    • 입력 토큰 100만 단위당 $0.30
    • 캐시된 입력 토큰 100만 단위당 $0.036 (캐시 쓰기 비용은 무료)
    • 출력 토큰 100만 단위당 $0.72
  • Toast 1이 호출하는 Mixedbread Search는 특별 요금제로 청구됩니다 (Mixedbread 가격 페이지 참조).
  • 즉시 시험 사용이 가능한 $5 무료 크레딧이 포함된 API 키 제공.

Hacker News 커뮤니티 반응

  • 사용자들은 전용 검색 LLM의 개념을 칭찬하며, 다단계 구글 검색을 단일 LLM 기반 루프로 대체할 수 있는 잠재력을 언급했습니다.
  • 여러 사용자가 기존 클라우드 검색 에이전트(Perplexity, Gemini 검색 기능, Parallel AI)와의 비교를 요청했고, 오픈 웨이트 대안에 관심을 보였습니다.
  • 온프레미스 배포 및 데이터 소유권에 대한 질문이 제기되어, 유연한 배포 옵션에 대한 수요가 높다는 점이 드러났습니다.
  • 전반적으로 긍정적인 반응을 보였으며, 많은 사용자가 Toast 1이 더 저렴하고 빠르며 품질이 높은 에이전트 기반 검색을 실현하는 실용적인 단계라고 평가했습니다.

Toast 1의 차별점은 무엇인가요?

  1. 전문 아키텍처 – 심층 검색에 특화되어, 간결하고 고품질의 증거 패키지를 생성할 수 있습니다.
  2. 전체 검색 루프 자동화 – 쿼리 분해부터 증거 정제까지, 외부 조율이 필요 없도록 에이전트가 모든 과정을 처리합니다.
  3. 파레토 최적 경계 개선 – 여러 실제 벤치마크에서 비용, 지연 시간, 토큰 효율성 측면에서 동시에 향상됩니다.
  4. 즉시 사용 호환성 – Mixedbread Search와 최적 성능을 발휘하지만, 다른 검색 백엔드와도 무관하게 작동합니다.

미래 전망

Toast 1은 SID-1 및 Chroma의 Context-1과 함께 전문 검색 에이전트 생태계에 합류하고 있습니다. 더 많은 기업이 에이전트 워크플로를 채택함에 따라, 비용 효율적이고 고품질의 검색 수요는 전용 모델의 추가 혁신, 검색 원시 기능과의 더 강한 통합, 온프레미스 및 하이브리드 배포에 대한 광범위한 지원을 촉진할 것입니다.

Sources

관련