Edge0 145B 및 120B 출시: 대규모 AI를 개인 하드웨어로
Edge0는 Edge0-145B와 Edge0-120B를 출시했습니다. 이 두 고파라미터 모델은 최첨단 추론, 코딩, 에이전트 기능을 개인 하드웨어에 제공하도록 설계되었습니다. 특수 추론 프레임워크를 활용하여 145B 파라미터 모델은 최대 29GB의 메모리 사용량으로 소비자용 하드웨어에서 실행될 수 있으며, 클라우드 기반 API에 의존하지 않고 3D 모델링, 하드웨어 프로그래밍, 자율 소프트웨어 개발과 같은 복잡한 워크플로우를 가능하게 합니다.
기술 아키텍처 및 추론 설계
145B 파라미터 모델을 개인용 컴퓨터에서 실행할 수 있는 능력은 희소 전문가 아키텍처와 계층형 메모리 로딩 시스템의 결합을 통해 달성됩니다.
- 희소 전문가 공유: 모든 전문가에 대해 전체 파라미터 세트를 저장하는 대신, 모델 아키텍처는 64명의 전문가 그룹 간에 두 개의 큰 행렬을 공유합니다. 이를 통해 모델은 큰 파라미터 수를 유지하면서도 단일 추론 단계에서 약 10B 파라미터만 활성화되도록 보장합니다.
- 계층형 메모리 관리: 추론 엔진은 GPU 메모리, 시스템 RAM, SSD 저장소 간에 데이터를 파이프라인으로 처리합니다. 자주 액세스되는 "핫" 전문가는 GPU 메모리에 캐시되고, 보조 전문가 라이브러리는 시스템 RAM에 상주하며, 어휘 데이터는 요청 시 SSD에서 가져옵니다.
- 하드웨어 스케줄링: 시스템은 CPU와 GPU 리소스를 병렬로 활용하여 계산을 관리하며, 추측 디코딩을 지원하여 토큰 생성 속도를 높입니다. 개발자들은 이 속도가 초당 80토큰을 초과한다고 보고합니다.
성능 및 벤치마크
Edge0-145B는 여러 표준화된 벤치마크에서 기존 최첨단 클라우드 모델과 경쟁력 있는 성능을 보고합니다. 내부 평가에 따르면, 모델은 DeepSWE 1.1에서 64.6, GPQA-Diamond에서 90.4, IFBench에서 80.6을 기록했습니다. 개발자들은 이 성능이 종종 70GB 이상의 메모리를 요구하는 유사한 모델의 표준 4비트 배포보다 훨씬 낮은 메모리 사용량으로 달성된다고 강조합니다.
커뮤니티 반응 및 기술적 검토
이번 출시는 에이전트 AI의 민주화 가능성에 대한 상당한 관심을 불러일으켰지만, 커뮤니티는 프로젝트의 투명성과 기술 구현에 대해 몇 가지 논의 지점을 제기했습니다:
- 모델 기원: 일부 사용자들은 Edge0와 기존 오픈 가중치 모델 간의 관계에 의문을 제기하며, 이번 출시가 Qwen3.8-Flash-Next와 같은 기존 모델의 파인튜닝 파생물일 수 있다고 제안합니다. 한 관찰자가 지적했듯이, "사람들이 모델을 파인튜닝하는 것은 전혀 드문 일이 아닙니다... 드문 것은 누군가 이 모든 것을 광범위한 브랜딩으로 포장하여 회사로 온라인에 게시하는 것입니다."
- 하드웨어 호환성: macOS에 대한 "출시 당일 지원" 주장에도 불구하고, 커뮤니티 구성원들은 현재 릴리스가 CUDA 기반 환경에 크게 최적화되어 있어 Apple Silicon 또는 기타 비NVIDIA 하드웨어에서 모델을 실행하려는 사용자들에게 불만을 야기한다고 지적했습니다.
- 실용적 유용성: 에이전트 출력의 신뢰성에 대한 지속적인 회의론이 있습니다. 자율 Blender 모델링과 드론 프로그래밍을 보여주는 데모 비디오는 매력적이지만, 사용자들은 AI 생성 코드와 디자인 파일의 "지저분함"에 대해 여전히 신중하며, 수동 정리가 자동화로 절약한 시간을 상쇄하는 경우가 많다고 지적합니다.
배포 및 가용성
모델 가중치와 추론 프레임워크를 포함한 전체 스택은 Edge0 Hugging Face 저장소 및 Edge0 GitHub 저장소에서 제공됩니다. 개발자들은 또한 광범위한 환경 구성 없이 모델을 테스트하려는 사용자를 위한 독립 실행형 애플리케이션을 제공했습니다.
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch