Niko1221/Strata

Strata – 소비자용 게이밍 PC에서 1250억 매개변수 LLM 실행

개요

• 최신 GPU(12GB 이상 VRAM)를 갖춘 데스크톱에서 Qwen‑3.8‑Flash‑Next 대규모 언어 모델(약 1250억 매개변수)을 로컬로 실행할 수 있는 오픈소스 엔진.
• 모델은 고도로 압축되어(Q2_0, IQ2_XS, IQ3_S 등의 GGUF 형식) RAM/VRAM에 들어가며 필요 시 SSD에서 스트리밍됩니다.
• OpenAI 호환 HTTP API(http://127.0.0.1:8080/v1)와 채팅, 모니터링, 이미지 입력용 소형 웹 UI를 제공합니다.

중요성

• 대규모 LLM은 일반적으로 40-100GB 메모리를 갖춘 서버급 GPU가 필요합니다. Strata의 "전문가 분할" 기술은 모델을 GPU, 시스템 RAM, CPU, SSD에 분산하여 1250억 매개변수 모델을 일반적인 게이밍 장비에서 사용할 수 있게 합니다.
• 모든 데이터가 기기에 유지되어 프라이버시와 오프라인 작업에 적합합니다.

주요 기능

기능	세부 사항
지원 하드웨어	NVIDIA RTX 20-50 시리즈, AMD RX 7900 XT/XTX, RX 7800 XT, RX 9070 XT 등. 최소 12GB VRAM, 32GB RAM(권장 64GB).
모델 크기	다양한 GGUF 양자화: Q2_0, IQ2_XS, IQ3_XXS, IQ3_S, Coder, Swift 1.5, Unsloth UD‑IQ4_XS 등. 작은 파일은 더 빠르게 실행되고, 큰 파일은 더 강력합니다.
성능	RTX 5070(12GB)에서 가장 빠른 Q2_0은 생성 약 94 tokens/s, 프롬프트 처리 약 2,650 tokens/s. IQ3_S는 약 53 tokens/s. AMD 카드 벤치마크도 포함.
설치	원클릭 스크립트(START-HERE.bat / setup.sh). 설치 프로그램이 GPU를 감지하고 적합한 모델을 선택하며 약 70GB의 가중치를 다운로드하고 로컬 서버를 시작합니다.
API	OpenAI 호환 /v1/chat/completions, /v1/completions, /v1/responses, Anthropic 스타일 /v1/messages. 모든 클라이언트(Claude Code, Cursor, Copilot 등)와 호환.
이미지 지원	AMD Linux 빌드에서 선택적 이미지 입력. Windows 빌드에서는 현재 지원되지 않음.
멀티 GPU	2~3개 카드 간 모델 공유를 위한 실험적 지원.
병렬 처리	기본 단일 요청 모드. 제한된 배치 처리 활성화 가능("parallel": 2).
모니터링	웹 UI에 GPU/CPU/RAM 사용량, 토큰 처리량, 실시간 "모니터" 탭 표시.
확장성	SETUP.bat/setup.sh --setup으로 새 GGUF 모델 추가 가능.

작동 방식(하이레벨)

• 1250억 매개변수 모델은 24,576개의 "전문가"로 분할됩니다. 가장 자주 사용되는 전문가는 GPU에 유지되고 나머지는 시스템 RAM에 있으며 조회 테이블은 SSD에 있습니다.
• 경량 "추측" 모듈이 후보 토큰을 예측하고 전체 모델이 이를 검증하여 1.6~1.8배 속도 향상을 제공합니다.
• 프롬프트 처리는 청크 단위(한 번에 최대 8,192토큰)로 1,000토큰/초 이상으로 32KB 수준의 컨텍스트 창을 지원합니다.

시작하기

1. 지원 GPU, ≥32GB RAM, 약 80GB의 여유 디스크 공간이 있는지 확인합니다.
2. 저장소를 클론하거나 zip을 다운로드한 후 START-HERE.bat(Windows) 또는 ./setup.sh(Linux)를 실행합니다.
3. 프롬프트를 따릅니다 – 설치 프로그램이 RAM에 맞는 모델 크기를 선택하고 다운로드합니다.
4. 브라우저에서 http://127.0.0.1:8080을 열어 채팅하거나 개발 도구를 http://127.0.0.1:8080/v1에 연결합니다.

일반적인 사용 사례

• 데이터를 클라우드로 보내지 않고 대규모 코드베이스(최대 32KB 컨텍스트)를 읽을 수 있는 로컬 코딩 어시스턴트.
• 프라이버시가 중요한 오프라인 연구 또는 창작 활동.
• 교육 또는 취미 프로젝트를 위해 소비자 하드웨어에서 LLM 추론 실험.

제한 사항

• 상당히 강력한 PC(12GB VRAM, 32-64GB RAM) 필요.
• 첫 실행 시 모델이 RAM/VRAM에 로드되는 동안 시스템이 몇 분간 멈출 수 있습니다.
• 기본적으로 한 번에 하나의 요청만 처리. 병렬 처리를 높이면 요청당 속도가 감소합니다.
• 이미지 입력은 현재 AMD Linux 빌드에서만 작동합니다.

라이선스 및 커뮤니티

• Strata 코드는 MIT 라이선스입니다.
• 기본 모델 가중치는 Qwen 3.8‑Flash‑Next 및 다양한 GGUF 압축기(ISTA‑DASLab, UkisAI, Unsloth)의 라이선스를 따릅니다.
• 기여를 환영합니다. 벤치마크 및 문제 해결 팁은 docs/COMMUNITY_BENCHMARKS.md 파일에 수집되어 있습니다.

더 알아보기

• 상세 속도 표: docs/MODELS.md 및 docs/DETAILS.md.
• 설치 가이드: docs/INSTALL.md.
• 기술 심층 분석: docs/HOW_IT_WORKS.md 및 첨부 논문(docs/paper/Strata-Paper.pdf).

---

Strata는 소비자용 게이밍 PC를 소형 AI 서버처럼 작동하게 하여, 1250억 매개변수 LLM에 대한 프라이빗하고 오프라인인 액세스를 익숙한 OpenAI 스타일 API로 제공합니다.