ROCm/FastFlowLM
Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for the AMD NPUs.
해결하는 문제
FastFlowLM (FLM)은 AMD Ryzen™ AI NPU에서 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)을 직접 실행할 수 있게 해줍니다. 추론에 GPU나 CPU에 의존하지 않아 전력 소비를 크게 줄이고, 효율성을 높입니다.
작동 방식
FLM은 가벼운(17MB) NPU 우선 런타임과 단일 명령어 CLI를 제공합니다. XDNA2 NPU(라이젠™ AI 시리즈 칩에 탑재됨)에서 모델을 실행하기 위해 최적화된 바이너리 커널을 사용합니다. 시각, 오디오, 임베딩, 혼합 전문가(MoE) 모델 등 다양한 모델 유형을 지원하며, CLI 도구 또는 로컬 REST/OpenAI 호환 API 서버로 배포할 수 있습니다.
대상 사용자
GPU가 필요 없이 개인적으로 효율적으로 로컬 AI 모델을 실행하고 싶은 AMD Ryzen™ AI NPU를 보유한 개발자 및 사용자.
주요 특징
- NPU 네이티브 실행: GPU나 CPU 부담 없이 AMD Ryzen™ AI NPU에서 완전히 실행됩니다.
- 고효율성: 기존 방법보다 10배 이상 전력 효율이 뛰어납니다.
- 광범위한 모델 지원: LLM, VLM, MoE 모델을 포함해 시각 및 오디오 기능도 지원합니다.
- 긴 컨텍스트: 최대 256k 토큰의 컨텍스트 창을 지원합니다.
- 개발자 친화적: 간단한 CLI와 OpenAI 호환 API 서버를 제공합니다.
관련
- 프로젝트
NotPunchnox/rkllamaRockchip RK3588/3576 플랫폼에 최적화된 LLM 서버 및 클라이언트로, NPU에서 AI 모델을 가속화된 로컬 추론으로 실행할 수 있습니다.
- 프로젝트
amd/RyzenAI-SWAMD Ryzen AI 기반 PC에서 AI 추론의 최적화 및 배포를 최대한 높이기 위한 도구 및 런타임 라이브러리 세트.
- 프로젝트
NVIDIA/TensorRT-LLMTensorRT‑LLM은 NVIDIA의 오픈 소스 라이브러리로, 대규모 언어 모델(및 비주얼 생성 모델)을 초고속 TensorRT 추론 엔진으로 컴파일합니다. 사용자 정의 CUDA 커널, 양자화, 스파스 어텐션, 투기적 디코딩, 멀티 GPU 병렬 처리를 제공하며 정확도를 유지하면서 토큰 처리량을 2~10배 높입니다. Python 친화적 런타임은 Triton, Kubernetes, Jetson과 통합되며 GPT‑OSS‑120B, Llama‑4, DeepSeek‑R1, 확산 모델 등의 문서와 예제를 포함합니다.
- 프로젝트
ztxz16/fastllmFastLLM은 C++ 기반의 PyTorch 없는 대규모 언어 모델 추론 엔진입니다. Dense 및 MoE 모델, 하이브리드 GPU/CPU/NUMA/디스크 배포, 멀티 GPU 텐서 병렬 처리, 추측 디코딩(MTP/DSpark/DFlash2), 다양한 양자화 형식을 지원하며 Python CLI, 웹 UI, OpenAI 호환 API 서버를 제공합니다. `pip install ftllm`으로 설치하고, `ftllm run`으로 모델을 실행하고, `ftllm server`로 서비스를 시작합니다. 광범위한 문서는 모델별 가이드, 성능 튜닝, 커뮤니티 지원을 다룹니다.
- 프로젝트