Strata 0.1.10, RTX 4090에서 Qwen 3.8 Flash Next 125B 모델을 초당 약 100 토큰으로 구동

TL;DR – Strata의 성과

Strata 0.1.10은 1,250억 개의 파라미터를 가진 Qwen 3.8-Flash-Next 모델을 단일 소비자용 GPU(예: RTX 4090)에서 초당 약 100 토큰의 속도로 구동하여, 서버급 LLM을 데스크톱에서 즉시 사용할 수 있는 비서로 탈바꿈시킵니다. 이는 값비싼 클라우드 추론의 필요성을 제거하여, 기성 하드웨어에서 높은 처리량과 개인정보 보호를 갖춘 AI를 구현할 수 있게 해줍니다.

소규모 모델에 필적하는 속도

128GB DDR5 RAM을 탑재한 RTX 4090(24GB VRAM)에서 작성자는 124 토큰/초(오버헤드 고려 시 ≈ 100 토큰/초)를 보고했습니다.
저사양 카드에서의 벤치마크 결과, 엔진이 예측 가능하게 확장됨을 보여줍니다. RTX 5070(12GB)은 IQ2_XS 양자화 모델에서 53 토큰/초를 기록했고, AMD RX 9070 XT(16GB)는 동일 모델에서 79 토큰/초를 기록했습니다.
"답변 작성" 지표(생성 속도)가 일반적인 읽기 속도(≈ 60 토큰/초)를 상회하므로, 모델이 사람이 읽는 속도보다 빠르게 텍스트를 출력할 수 있습니다.
프롬프트 로딩 속도 또한 인상적입니다. RTX 5070에서 32K 토큰 문서를 ~1,200 토큰/초의 속도로 처리하여 거의 실시간에 가까운 컨텍스트 업데이트가 가능합니다.

"직접 시도해 보았는데 놀라울 정도로 잘 작동합니다. 제 기기(Nvidia 4090, 128GB DDR5, Ryzen 7950x3d)에서 초당 124 토큰이 나옵니다" – @snehesht (HN 댓글)

최소 하드웨어 요구 사항

구성 요소	최소 사양	권장 사양
GPU	NVIDIA RTX 20/30/40/50 시리즈 또는 AMD Radeon 7900 XT/XTX, 7800 XT, 7700 XT, 9060 XT, 9070/9070 XT, 6800/6900 시리즈	최상의 속도를 위해 24GB VRAM(RTX 4090/3090); 12GB VRAM은 처리량이 감소하지만 사용 가능
시스템 RAM	32GB (가장 작은 "Coder" 모델 적합)	전체 모델 제품군(IQ2_XS, IQ3_XXS, IQ3_S)을 위해 64GB 이상
디스크	약 80GB 여유 공간, 빠른 모델 로딩을 위해 SSD 권장	최적의 스왑 성능을 위해 NVMe SSD
OS	Windows 10/11 또는 최신 드라이버가 설치된 Linux	—

설치 프로그램은 하드웨어를 자동으로 감지하여 적합한 가장 큰 모델을 선택합니다.

원클릭 설치 (또는 AI 지원 설정)

저장소 다운로드 (git clone https://github.com/Niko1221/Strata.git).
실행: Windows에서는 START-HERE.bat, Linux에서는 ./setup.sh를 실행합니다. 스크립트 기능:
- GPU, RAM, 디스크 공간 감지.
- 모델 크기, 컨텍스트 길이, 이미지 지원 여부 확인(기본값은 Enter 키).
- 약 70GB의 GGUF 모델 파일 다운로드 및 압축 해제.
대기: 모델이 RAM에 로드되고 GPU 캐시가 채워지는 동안 1~3분 정도 소요됩니다. 창에 진행 상황이 표시되며, 이 과정에서 PC가 다소 느려질 수 있습니다.
접속: 브라우저에서 http://127.0.0.1:8080에 접속하여 Strata UI(채팅, 모니터, 정보)를 사용합니다.

AI 지원 설치

코딩 어시스턴트를 통해 설정을 진행하려면 다음 내용을 복사하여 붙여넣으세요:

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

어시스턴트가 동일한 설치 단계를 자동으로 실행합니다.

적절한 양자화 모델 선택

RAM	권장 모델	이유
32GB	Coder (32GB)	코드 최적화; 메모리 제약에 적합
48GB	IQ2_XS (또는 Q2_0)	가장 작고 빠른 생성 속도
64GB	IQ2_XS (기본값) 또는 IQ3_XXS / IQ3_S	모든 크기 수용 가능; IQ3_S는 속도 저하를 감수하고 최고 품질 제공
96GB+	IQ3_S 또는 Unsloth UD-IQ4_XS (~4-bit)	가장 큰 전문가 모델 로드; UD-IQ4_XS는 VRAM 사용량을 낮추는 대신 속도와 교환

Coder: 전체 모델 SWE-bench 점수의 91%를 기록하지만, 코드 외 언어에서는 다소 약함.
IQ2_XS: 2-bit 양자화, 대부분의 작업에서 최고의 속도 대비 품질 비율.
IQ3_S: 3-bit 양자화, 지원되는 크기 중 최고 품질; RTX 5070에서 약 53 토큰/초로 구동.
Unsloth UD-IQ4_XS: ~4-bit, 94GB 다운로드; 모델 일부를 SSD에서 읽어오므로 RAM이 낮은 시스템에서는 생성 속도가 느림.

자체 앱에서 모델 사용하기

OpenAI 호환 엔드포인트: http://127.0.0.1:8080/v1. OpenAI API 키를 허용하는 모든 클라이언트에서 이 URL을 사용할 수 있으며, 키는 아무 문자열이나 입력해도 됩니다.
Anthropic 호환 엔드포인트: http://127.0.0.1:8080/v1/messages (ANTHROPIC_BASE_URL을 적절히 설정).
배치 처리: 기본적으로 Strata는 한 번에 하나의 요청을 처리합니다. config.json에서 "parallel": 2로 설정하면 두 개의 스트림을 동시에 처리할 수 있습니다(12GB 카드에서는 요청당 속도가 감소할 수 있음).
이미지 입력: 설치 시 활성화; Windows AMD 카드는 현재 이미지 지원이 부족합니다.
원격 접속: START-HERE.bat --setup --host 0.0.0.0 --api-key <secret>을 실행하여 LAN에서 API를 노출합니다(항상 비밀 키로 보호하세요).

커뮤니티 피드백 및 자주 묻는 질문

"로컬에서 Opus급 모델을 구동할 수 있는 날이 점점 가까워지고 있습니다. 꿈만 같네요!" – @SuperV1234 (HN 댓글)

"이 모델은 24,576개의 작은 전문가('experts') 팀으로 구성되어 있습니다…" – Strata 문서, MoE 오프로드 전략 설명.

"RTX 4090과 128GB DDR4 RAM 환경에서 110 토큰/초 이상을 보고 있습니다" – @mrinterweb (HN 댓글)

"64GB RAM을 탑재한 5090에서 빠른 iq2_xs 양자화 모델을 돌려 초당 200 토큰 정도 나옵니다" – @IronWolve (HN 댓글)

일반적인 우려 사항

품질 대 속도: IQ2_XS에서 IQ3_S로 전환 시 벤치마크 점수가 소폭 하락한다는 보고가 있지만, 복잡한 코딩이나 다국어 작업에서는 더 높은 정확도를 위해 감수할 가치가 있습니다.
GPU 메모리 제한: 12GB VRAM 미만의 카드는 지원되는 양자화 모델을 구동할 수 없습니다. 커뮤니티에서 실험적인 패치를 사용하여 구형 GPU(Tesla V100, GTX 10 시리즈)를 테스트 중이지만 성능은 현저히 낮습니다.
병렬 요청: Strata는 현재 요청을 대기열에 넣습니다. 진정한 병렬 추론을 위해서는 각 스트림에 대해 별도의 전문가 하위 집합을 유지할 수 있는 충분한 VRAM이 필요합니다.
AMD/Windows에서의 이미지 지원: 아직 지원되지 않음; Linux 사용자는 CPU 폴백을 통해 이미지를 처리할 수 있습니다.

Strata가 125B 모델을 12~24GB VRAM에 맞추는 방법

전문가 혼합(MoE) 오프로딩 – 모델은 24,576개의 전문가로 구성되며, 언제든지 GPU에는 수천 개의 활성 전문가만 캐시됩니다.
RAM 상주 전문가 풀 – 모든 전문가는 시스템 RAM에 상주하며, GPU가 활성 하위 집합을 처리하는 동안 CPU가 필요한 전문가를 교체합니다.
SSD 조회 테이블 – SSD에 저장된 대규모 정적 테이블이 전문가 선택 속도를 높여 CPU-RAM 트래픽을 줄입니다.
추측 및 검증 파이프라인 – 경량 도우미가 후보 토큰을 제안하고, 전체 MoE가 이를 검증하여 일반적인 디코딩보다 1.6~1.8배 빠른 속도를 냅니다.
청크 단위 컨텍스트 처리 – 긴 프롬프트는 8,192 토큰 블록 단위로 1,000 토큰/초 이상의 속도로 읽혀, GPU를 멈추지 않고도 32K 토큰 컨텍스트 윈도우를 구현합니다.

전체 기술 설명은 저장소의 HOW_IT_WORKS.md와 동봉된 논문(Strata-Paper.pdf)에 있습니다.

라이선스 및 크레딧

모델: Qwen 3.8-Flash-Next (Hugging Face를 통한 MIT 호환 사용).
양자화: ISTA-DASLab, UkisAI (Swift 1.5), Unsloth 수행.
엔진: llama.cpp / ggml 기반 (BSD-3-Clause).
Strata 코드: MIT 라이선스 (저장소의 LICENSE 참조).
감사의 말: Qwen 팀, 압축 기여자들, 그리고 llama.cpp를 유지 관리하는 오픈 소스 커뮤니티.

빠른 시작

# Linux에서 클론 및 실행
git clone https://github.com/Niko1221/Strata.git && cd Strata
./setup.sh   # 프롬프트에 따라 약 70GB 모델 다운로드
# UI 열기
xdg-open http://127.0.0.1:8080

Windows에서는 zip 파일 압축 해제 후 START-HERE.bat을 더블 클릭하세요.

결론

Strata는 1,250억 개의 파라미터를 가진 LLM을 소비자용 GPU에서 로컬로 구동할 수 있으며, 대화형 사용이 가능한 수준의 토큰 생성 속도를 달성할 수 있음을 보여줍니다. 전문가 모델을 RAM과 SSD로 오프로드함으로써 기존의 VRAM 한계를 극복하고, 값비싼 클라우드 추론에 의존하지 않는 개인정보 보호 중심의 저지연 AI 애플리케이션의 문을 열었습니다.