Grok-2 베타 릴리스

xAI는 Grok-2와 Grok-2 미니의 베타 릴리스를 발표하며, Grok-1.5에 비해 대화, 코딩, 추론 능력에서 중요한 진전을 이뤘다고 밝혔습니다. 이 모델들은 현재 프리미엄 및 프리미엄+ 사용자에게 제공되며, 2024년 8월 말에 기업용 API를 통해 공개될 예정입니다.

최전방 성능 및 벤치마크

Grok-2는 여러 학술 벤치마크에서 최첨단 성능을 보이며, 다른 최전방 모델들과 직접 경쟁합니다.

LMSYS 챗봇 아레나에서 "sus-column-r"라는 이름으로 테스트된 Grok-2의 초기 버전은 전반적인 엘로 점수에서 Claude 3.5 Sonnet과 GPT-4 Turbo를 모두 앞질렀습니다. AI 튜터들이 지시사항 준수 및 사실 정확성에 초점을 맞춰 실시한 내부 평가에서는, 검색된 콘텐츠를 활용한 도구 사용과 추론 능력에서 큰 향상이 있었으며, 특히 누락된 정보를 식별하고 관련 없는 게시물을 제거하는 데 있어 향상된 성능을 보였습니다.

기술 벤치마크 결과

Grok-2와 Grok-2 미니는 추론, 수학, 과학, 코딩 분야에서 Grok-1.5에 비해 상당한 성능 향상을 보였습니다.

벤치마크	Grok-1.5	Grok-2 미니	Grok-2	GPT-4 Turbo	Claude 3 Opus	Gemini Pro 1.5	Llama 3 405B	GPT-4o	Claude 3.5 Sonnet
GPQA	35.9%	51.0%	56.0%	48.0%	50.4%	46.2%	51.1%	53.6%	59.6%
MMLU	81.3%	86.2%	87.5%	86.5%	85.7%	85.9%	88.6%	88.7%	88.3%
MMLU-Pro	51.0%	72.0%	75.5%	63.7%	68.5%	69.0%	73.3%	72.6%	76.1%
MATH	50.6%	73.0%	76.1%	72.6%	60.1%	67.7%	73.8%	76.6%	71.1%
HumanEval	74.1%	85.7%	88.4%	87.1%	84.9%	71.9%	89.0%	90.2%	92.0%
MMMU	53.6%	63.2%	66.1%	63.1%	59.4%	62.2%	64.5%	69.1%	68.3%
MathVista	52.8%	68.1%	69.0%	58.1%	50.5%	63.9%	—	63.8%	67.7%
DocVQA	85.6%	93.2%	93.6%	87.2%	89.3%	93.1%	92.2%	92.8%	95.2%

참고: Grok-2의 MMLU, MMLU-Pro, MMMU, MathVista는 0-샷 CoT 방식으로 평가되었으며, MATH 결과는 maj@1, HumanEval 결과는 pass@1입니다.

시각 및 멀티모달 능력

Grok-2는 시각 기반 작업, 특히 시각적 수학 추론과 문서 기반 질문 응답에서 뛰어난 성능을 발휘합니다.

벤치마크 데이터에 따르면, Grok-2는 MathVista에서 69.0%, DocVQA에서 93.6%의 성능을 기록하며 이 분야에서 최첨단 수준의 성능을 보였습니다. xAI는 또한 Grok 경험의 핵심 요소로 멀티모달 이해 기능의 프리뷰를 곧 공개할 예정이라고 발표했습니다.

통합 및 가용성

Grok-2와 Grok-2 미니는 새 인터페이스와 새로운 기능 세트를 갖춘 플랫폼에 통합되어 있습니다.

프리미엄 및 프리미엄+ 사용자는 앱의 Grok 탭을 통해 이 모델에 접근할 수 있습니다. Grok-2는 텍스트 및 시각 이해의 최첨단 보조자로 작동하며, Grok-2 미니는 속도와 품질의 균형을 제공합니다. 또한 xAI는 Black Forest Labs의 FLUX.1 모델을 실험적으로 도입하여 플랫폼에서 Grok의 기능을 확장하고 있습니다.

기업용 API 플랫폼

개발자들은 2024년 8월 말에 새 기업용 API 플랫폼을 통해 Grok-2와 Grok-2 미니에 접근할 수 있습니다. API 인프라는 다음과 같은 특징을 갖춥니다:

다중 지역 추론 배포를 통해 낮은 지연 시간의 글로벌 접근성 제공.
강화된 보안, 필수적인 다중 인증 방식(MFA, Yubikey, Apple TouchID 또는 TOTP 포함).
관리 도구, 팀, 사용자 및 청구 관리를 내부 서비스에 통합할 수 있는 관리 API를 포함하며, 풍부한 트래픽 통계 및 청구 분석 기능 제공.