Ripple-65B 프리뷰: Ricursive의 3200만 달러 오픈 가중치 모델, 에이전트 코딩에서 미국 SOTA 주장

Ricursive Intelligence가 Ripple-65B 프리뷰를 출시했습니다. 이는 650억 파라미터 밀집 오픈 가중치 언어 모델로, 회사에 따르면 에이전트 코딩에서 미국 오픈 가중치 최고 수준을 달성하여 TerminalBench 2.1에서 80.52점을 기록했습니다. 핵심 주장은 벤치마크 수치뿐만 아니라 비용입니다. Ricursive는 이 모델을 처음부터 개발하고 훈련하는 데 총 R&D 비용 3200만 달러가 들었다고 밝혔으며, 이는 회사가 아는 한 이전 오픈 가중치 에이전트 코딩 SOTA 비용의 약 10분의 1 수준입니다.

Ripple-65B 프리뷰는 Ricursive의 AI 칩 설계 플랫폼을 구동하는 독점 모델의 범용 변형입니다. Ricursive는 하드웨어, 소프트웨어, 모델을 공동 최적화하여 자기 개선 시스템을 구축하는 풀스택 AI 연구소라고 자신을 소개합니다.

Ripple-65B 프리뷰란 무엇인가

Ripple-65B 프리뷰는 650억 파라미터를 가진 밀집 트랜스포머로, 12조 토큰으로 사전 훈련되었으며 최대 100만 컨텍스트 길이를 지원합니다. Ricursive는 Mixture-of-Experts 설계를 채택하는 대신 자체 훈련 및 서빙 플랫폼에 맞게 아키텍처를 최적화했습니다.

이 모델은 Hugging Face, Together AI, GMI Cloud, OpenRouter에서 사용할 수 있으며, Fireworks는 출시 당일 늦게 제공될 예정입니다.

벤치마크 주장: TerminalBench 2.1에서 미국 오픈 가중치 SOTA

Ricursive는 Ripple-65B 프리뷰의 TerminalBench 2.1 점수가 80.52라고 보고하며, 이를 4개의 더 큰 미국 오픈 가중치 모델과 비교합니다:

모델	파라미터	TerminalBench 2.1
Ripple-65B 프리뷰	65B (밀집)	80.52
Reflection Beam	501B	80.1
Meta Muse Spark Open	816B	76.4
Thinking Machines Inkling	975B	63.8
NVIDIA Nemotron 3 Ultra	550B	56.4

비교는 명시적으로 미국 오픈 가중치 모델로 한정됩니다. Ricursive는 차트에 비미국 오픈 가중치 모델을 포함하지 않았으며, 이 선택은 Hacker News 토론에서 상당한 비판을 받았습니다.

훈련 비용: 전체 R&D 실행에 3200만 달러

Ricursive는 3200만 달러가 처음부터 시작하는 전체 R&D 비용을 포함한다고 밝혔습니다. 여기에는 사전 훈련 래더 개발, 데이터 혼합, 평가, 디버깅, 합성 데이터 생성, 사후 훈련 레시피 개발, 최종 사전 훈련 및 사후 훈련 실행이 포함됩니다.

회사는 이를 프런티어 훈련에 대한 역사적 추정치와 대조합니다: Sam Altman의 2023년 GPT-4 훈련 비용이 1억 달러를 초과했다는 발언, Dario Amodei의 사전 훈련 비용이 2026~~2027년까지 100억~~1000억 달러에 이를 수 있다는 전망. Ricursive의 각주는 Reflection이 SpaceX Colossus에서 컴퓨팅에 월 1억 5천만 달러를 지출했다는 보도와 Reflection 자체 보고서(Beam이 사전 훈련에 4주, 사후 훈련에 4주 소요)를 가리킵니다.

RL 레시피: 140만 롤아웃과 70배 감소

Ricursive는 무차별 강화 학습 상승을 의도적으로 피하고 대신 컴퓨팅 효율성을 위해 SFT 및 RL 레시피를 반복했다고 밝혔습니다. 회사는 사후 훈련 데이터를 구매하지 않고 자체 합성 데이터 파이프라인, 품질 필터링, 커버리지 지표를 구축했습니다.

혼합 RL 레시피는 잘린 중요도 샘플링, 점수 중심화, 선형 길이 페널티를 사용하며 고품질의 장기 지평 합성 환경에 대해 실행됩니다. 작업은 모델의 능력에 맞게 조정되었으며, 모델이 개선됨에 따라 더 어려운 작업이 지속적으로 추가되었습니다.

Ricursive는 140만 롤아웃만으로 TerminalBench 2.1 점수 80.5에 도달했다고 보고하며, 이는 이전 SOTA인 Reflection Beam보다 약 70배 적은 롤아웃이라고 설명합니다.

아키텍처: 밀집, 얇고 깊은, 단순한 인프라를 위해 설계

Ripple-65B 프리뷰는 Mixture-of-Experts 아키텍처 대신 현대화된 밀집 트랜스포머를 사용합니다. Ricursive는 추론 및 에이전트 성능을 유지하면서 사전 훈련 및 사후 훈련 인프라 복잡성을 줄이는 것이 목표라고 밝혔습니다.

회사가 보고한 주요 아키텍처 선택:

얇고 깊은 종횡비: 좁은 d_model 5120과 총 80개 레이어.
과잉 공급된 어텐션 헤드: 슬라이딩 윈도우 어텐션 대비 글로벌 레이어 비율을 높이고 SWA 윈도우 크기를 줄여 추가 비용을 상쇄.
FFN 활성화 클리핑, 게이트 어텐션, 글로벌 NoPE, 값 잔차.
40% MFU: 사전 훈련 및 사후 훈련 동안 유지, 단순 샤딩, 커스텀 커널 없음, 양자화 없음으로 달성.

모델 래더링: Olmo 3 래더 대비 코드에서 16배 컴퓨팅 효율성

Ricursive는 Olmo 3 모델 래더에서 시작하여 코딩에 초점을 맞춘 소규모 개입 테스트를 통해 일련의 모델 래더링 실험으로 사전 훈련 레시피를 최적화했습니다.

래더는 StepFun 배치 크기 및 학습률 스케일링 법칙(v1.0), 아키텍처 차원과 깊이를 부드럽게 확장하는 새 래더(v1.1), 소규모에서는 중립적이지만 4B에서 개선된 포스트-놈에서 프리+포스트 놈 전환(v1.2), 시그모이드 게이트 어텐션(v1.3), 4B 규모에서 개선되지 않아 거부된 2-스트림 mHC 변형(v1.4), 글로벌 NoPE 및 최종 LR을 0으로 냉각(v1.5), 값 잔차(v1.6)로 진행되었습니다. 최종 버전은 코드를 상당히 업샘플링한 커스텀 사전 훈련 데이터셋으로 전환했습니다.

Ricursive는 복합적인 변경으로 dolma_stack 교차 엔트로피로 측정한 코드 컴퓨팅 효율성이 4B 모델 규모에서 최대 16배 향상되었다고 밝혔습니다. 즉, 최종 래더는 Olmo 3 래더와 유사한 코드 성능에 도달하면서 16배 적은 컴퓨팅을 사용합니다. 회사는 Olmo 3 기준선 기울기가 자체 래더보다 얕아 효율성 이득이 규모에 따라 증가할 것이라고 언급했습니다.

Hacker News 토론이 제기한 문제점

지배적인 비판은 "SOTA"의 좁은 정의였습니다. 댓글 작성자들은 미국 오픈 가중치 모델로 범위를 한정하면 실제 필드와 비교하는 최종 사용자에게 벤치마크가 덜 유용해진다고 주장했습니다.

"이 정도로 카테고리를 좁히면 'SOTA'라는 용어가 상당히 희석되었습니다. 당신이 목표로 하는 벤치마크 하위 집합에 대해 최고라는 뜻인가요? 아니요? 그럼 특정 크기 카테고리의 모델에 대해 최고라는 뜻인가요? 뭐, 로컬 추론에 사용할 수 있는 모델은요? 아, 미국에서 만든 특정 크기의 오픈 모델에 대해 최고라는 거군요. 어. 멋지네요!" — @advael

"자체 정의한 카테고리에서 최고로 보이려는 욕구는 이해합니다. 하지만 실제 오픈 가중치 리더와의 비교를 전혀 보여주지 않으면 모든 벤치마킹은 실제 최종 사용자(실제 필드와의 실제 성능 비교에 관심이 있는)에게 완전히 정보가 없게 됩니다." — @a11r

여러 댓글 작성자는 특히 Qwen 비교가 없다는 점을 지적했습니다. 한 명은 게시물에서 누락된 수치를 제공했습니다: Qwen 3.8 Flash Next는 TerminalBench 2.1에서 84.3점, Qwen 3.8-27B는 73.0점입니다.

"이 모델은 Terminal Bench 2.1에서 80.5점입니다. 참고로 Qwen 3.8 Flash Next(이 모델보다 크지만 MoE로 인해 실행 비용이 더 저렴할 수 있음)는 84.3점, Qwen 3.8-27B는 73.0점입니다. Qwen과 비교해 얼마나 벤치마크에 최적화되었는지에 따라 이 모델이 경쟁력 있을 수 있다고 생각합니다." — @2001zhaozhao

"게시물이 비교를 위해 Qwen을 언급하지 않으면 성능이 좋지 않을 것임을 알 수 있습니다." — @syntaxing

다른 사람들은 벤치마크 선택 자체에 의문을 제기했습니다. 한 댓글 작성자는 TerminalBench 2.1이 오래되었고, SWE-bench는 OpenAI가 부인했으며, DeepSWE는 Gemini에 의해 벤치마크 해킹되었다고 주장했습니다. 다른 사람은 비교 차트를 "당혹스럽다"고 부르며 게시물이 더 약한 모델을 골라냈다고 비난했습니다.

반론은 미국 전용 프레임을 규정 준수 근거로 옹호했습니다:

"미국 관할권에 속하지 않은 회사의 모델을 사용하는 것이 명시적으로 금지된 상황이 여러 가지 있습니다. 이것이 글로벌 관점에서 볼 때 이 모델이 경쟁력이 있다는 의미는 아니지만 무관한 차별화도 아닙니다." — @bluejay2387

로컬 추론: 밀집 65B는 MoE와 다른 트레이드오프

댓글 작성자들은 65B 밀집 모델은 모든 파라미터가 토큰당 활성화되기 때문에 유사하거나 더 큰 총 크기의 MoE 모델에 비해 소비자 하드웨어에서 실행 비용이 비싸다고 언급했습니다. 한 댓글 작성자는 대상 구매자가 에어갭 환경에서 칩 설계를 수행하고 서버급 추론 하드웨어를 감당할 수 있는 조직일 것이라고 추측했습니다.

"현재로서는 Qwen의 27B급 모델이나 MOE 모델 같은 취미 사용자 및 로컬 모델 애호가들 사이에서 인기를 얻기 어려울 것입니다. 65B 밀집 모델이고 소비자급 하드웨어에서 추론이 엄청나게 느릴 것이기 때문입니다... 이것은 IP를 보호하기 위해 에어갭 환경에서 AI를 사용하려는 기업을 위한 것입니다." — @stewartpark

대조적인 보고는 고메모리 Mac Studio 사용자로부터 나왔는데, 모델 크기가 Mac 클러스터에 실제로 적합하다고 말했습니다:

"제 경험상 Mac 클러스터의 최적 지점은 약 200GB의 가중치이며, 이 모델은 그보다 훨씬 아래입니다. 실제로 실행될 오픈 모델을 만든 recursive 팀에게 축하를 보냅니다!" — @thesnarkitecht

비용, 능력이 아닌 것이 진짜 이야기일 수 있음

한 댓글 작성자는 이 모델이 원시 성능에서는 평범하지만 훈련 경제성이 주목할 만한 결과라고 주장하며, 이 클래스의 모델이 3년 안에 500만 달러 미만으로 제작될 수 있다고 추정했습니다. 이는 크라우드 펀딩 노력으로도 가능한 수준입니다.

열린 질문

80.52 중 얼마나 많은 부분이 벤치마크 특화 튜닝인가? Ricursive는 RL 작업을 모델의 능력에 맞게 조정하고 모델이 개선됨에 따라 더 어려운 작업을 추가했다고 설명하는데, 이는 표준 관행이지만 독립적인 평가 없이는 모델 간 비교를 더 어렵게 만듭니다.
Ripple-65B 프리뷰는 비미국 오픈 가중치 리더와 어떻게 비교되는가? 릴리스는 이에 대해 언급하지 않으며, 댓글 작성자들은 최소한 하나의 Qwen 모델이 Ripple의 보고된 점수보다 높은 Qwen 수치를 제공했습니다.
밀집 아키텍처는 더 큰 규모에서도 유지되는가? Ricursive는 래더의 더 가파른 기울기가 효율성 이득이 규모에 따라 증가함을 의미한다고 주장하지만, 16배 수치는 4B 모델 규모에서 측정된 것입니다.
칩 설계 변형은 무엇을 하는가? Ricursive는 내부 변형이 AI 칩 설계 플랫폼을 구동한다고 밝혔지만 해당 변형에 대한 벤치마크를 공개하지 않았습니다.

Ricursive는 AI2의 Olmo 팀, Prime Intellect, RadixArk, NVIDIA를 이 작업의 오픈 소스 기반으로 공로를 인정하며, "모델에서 실리콘까지 풀스택 AI"를 추진할 연구원과 엔지니어를 채용 중이라고 밝혔습니다.

요약: Ricursive Intelligence가 Ripple-65B 프리뷰를 출시했습니다. 650억 파라미터 밀집 오픈 가중치 모델로, 12조 토큰으로 사전 훈련되었으며 총 R&D 비용 3200만 달러로 TerminalBench 2.1(80.52)에서 미국 오픈 가중치 최고 수준에 도달했다고 주장합니다.

제목: Ripple-65B 프리뷰: Ricursive의 3200만 달러 오픈 가중치 모델, 에이전트 코딩에서 미국 SOTA 주장