xAI Grok Collections API 출시

xAI는 개발자가 자체적인 인덱싱 및 검색 인프라를 관리하지 않고도 PDF, Excel 시트, 코드베이스를 포함한 전체 데이터 세트를 업로드하고 검색할 수 있는 관리형 지식 베이스 서비스인 Collections API를 발표했습니다. 이를 통해 검색 증강 생성(RAG) 애플리케이션을 구축할 수 있습니다.

관리형 인덱싱 및 문서 이해

Collections API는 데이터 수집 및 저장의 복잡성을 처리합니다. OCR 및 레이아웃 인식 파싱을 활용하여 Excel 테이블의 계층 구조, PDF의 레이아웃, 코드의 구문과 같은 문서의 구조적 무결성을 유지하면서 텍스트를 추출합니다.

주요 관리 기능은 다음과 같습니다:

광범위한 형식 지원: API는 다양한 파일 유형을 지원합니다.
효율적인 재인덱싱: 시스템은 지식 베이스가 최신 상태를 유지하도록 파일이 변경될 때 자동으로 재인덱싱합니다.
파일 관리: 개발자는 컬렉션 내에서 파일을 업로드, 업데이트 및 다운로드할 수 있습니다.

검색 방법 및 검색 기능

다양한 사용 사례에에 최적화하기 위해, Collections API는 세 가지 별도의 검색 방법을 제공합니다:

시맨틱 검색 (Semantic Search): 의미와 의도에 기반한 쿼리에 사용됩니다.
키워드 검색 (Keyword Search): 정확한 용어 매칭에 사용됩니다.
하이브리드 검색 (Hybrid Search): 최대 정확도를 위해 키워드와 시맨틱 검색을 결합합니다. 이 방법은 reciprocal rank fusion 및 전용 리랭커(reranker) 모델을 지원합니다.

성능 벤치마크

xAI는 Grok 4.1 Fast와 결합된 Collections API가 금융, 법률, 코딩과 같이 길고 밀집된 문서가 특징인 도메인에서 최첨단 검색 성능을 제공한다고 보고했습니다.

도메인별 정확도

내부 벤치마크에 따르면, Grok 4.1 Fast는 여러 주요 작업에서 경쟁사보다 뛰어난 성능을 보이거나 대등한 성능을 것을 보여주었습니다:

Task	xAI Grok 4.1 Fast	Google Gemini Pro 3	OpenAI GPT 5.1
Finance (Tabular and numerical questions)	93.0	85.9	84.7
Legal (Complex reasoning over multiple chunks)	73.9	74.5	71.2
Coding (Code understanding and large file systems)	86	85	81

특화된 데이터 세트 평가

금융 분석: 하이브리드 검색은 SEC filings와 같은 소스에서 표 형식 및 수치 데이터를 검색하는 데 중요한 도구로 강조되었습니다.
법률 분석: LegalBench 데이터 세트를(상업용 계약서의 128개 질문-답변 쌍) 사용하여, API는 미묘한 법률 용어와 상호 참조를 처리하는 능력을 테스트했습니다.
DeepCodeBench: API의 코드 이해 능력은 실제 오픈 소스 저장소와 복잡한 알고리즘 문제를 포함하는 DeepCodeBench 데이터 세트를 사용하여 평가되었습니다. 8,000개의 파일을 포함하는 8개의 저장소에 대해 엔드 투 엔드 답변 성능이 테스트되었습니다.

데이터 프라이버시 및 가격 정책

데이터 프라이버시: xAI는 Collections에 저장된 사용자 데이터가 사용자의 명시적 동의가 없는 한 모델 학습 목적으로 사용되지 않는다고 밝히고 있습니다.

가격 정책: 초기 출시 단계에서는 첫 일주일 동안 파일 인덱싱 및 저장이 무료입니다. 검색은 1,000회 검색당 $2.50의 고정 요금이 부과됩니다.