VecSzn/PolyStrata

해결하는 문제

대규모 AI 모델은 일반적으로 수백 GB의 그래픽 메모리를 갖춘 서버가 필요합니다. PolyStrata는 모델을 그래픽 카드와 시스템 RAM에 분산하여 일반 PC(8GB 그래픽 카드가 장착된 노트북 또는 32GB 데스크톱)에서 실행할 수 있게 합니다. 즉, 채팅, 코드 작성, 자신의 앱 및 코딩 에이전트를 모두 자신의 머신에서 사용할 수 있으며, 데이터가 PC 밖으로 나가지 않습니다.

작동 방식

PolyStrata에는 모델의 작업을 그래픽 카드와 RAM에 분할하는 사용자 정의 엔진이 포함되어 있습니다. 자주 사용하는 부분은 그래픽 카드에 유지되고 나머지는 RAM에서 대기합니다. 마치 자주 사용하는 물건을 카운터에 두고 나머지를 식료품 저장실에 두는 것과 같습니다. 설치 프로그램이 카드에 맞는 엔진을 설정하고 모델을 다운로드한 후 로컬 서버를 시작합니다. 그런 다음 브라우저에서 http://127.0.0.1:8080으로 모델과 대화하거나 OpenAI 또는 Anthropic 스타일 API를 지원하는 모든 앱을 연결할 수 있습니다. 10개의 모델을 사용할 수 있으며 대부분 실험적이고 일부는 이미지도 읽을 수 있습니다.

대상 사용자

대규모 AI 모델을 자신의 하드웨어에서 개인적으로 실행하려는 사람들——Claude Code나 Cursor와 같은 코딩 어시스턴트를 사용하는 개발자, 강력한 게이밍 PC를 가진 애호가, 그리고 데이터를 기기 내에 유지하려는 모든 사람. Windows, Linux, Apple Silicon Mac(한 모델용)에서 작동하며 설치 프로그램에는 벤치마크가 포함되어 있어 자신의 머신에서 속도를 측정할 수 있습니다.

주요 특징

• Qwen3.6, GLM 5.3 Flash, DeepSeek V4 Flash 등 10개의 대규모 AI 모델을 로컬에서 실행.
• 빠른 프롬프트 읽기——노트북에서 llama.cpp보다 2.7~3.5배 빠르게 프롬프트를 읽습니다.
• OpenAI 및 Anthropic 호환 API를 통해 기존 앱과 연동(예: Claude Code, Codex).
• 데이터가 PC 밖으로 나가지 않습니다. 모든 추론은 하드웨어에서 이루어집니다.
• 무료이며 오픈소스입니다.