ROCm/FastFlowLM

Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for the AMD NPUs.

何を解決するか

FastFlowLM (FLM) は、AMD Ryzen™ AI NPU 上で大規模言語モデル (LLM) と視覚言語モデル (VLM) を直接実行できるようにします。GPU や CPU への依存を排除することで、電力消費を大幅に削減し、効率性を高めます。

動作方法

FLM は軽量（17 MB）な NPU 最優先ランタイムと、ワンコマンド CLI を提供します。XDNA2 NPU（Ryzen™ AI シリーズチップに搭載）上でモデルを実行するために最適化されたバイナリカーネルを使用します。視覚、音声、埋め込み、および混合専門家（MoE）モデルなど、さまざまなモデルタイプをサポートしており、CLI ツールまたはローカル REST / OpenAI 互換 API サーバーとしてデプロイ可能です。

対象ユーザー

GPU を必要とせずに、プライベートかつ効率的にローカル AI モデルを実行したい、AMD Ryzen™ AI NPU を搭載した開発者やユーザー。

主な特徴

  • NPUネイティブ実行: GPU や CPU を使用せずに、AMD Ryzen™ AI NPU で完全に実行されます。
  • 高い効率性: 伝統的な方法よりも 10 倍以上電力効率が優れています。
  • 広範なモデル対応: LLM、VLM、MoE モデルをサポートしており、視覚および音声機能も備えています。
  • 長文脈対応: 最大 256k トークンのコンテキスト窓をサポートします。
  • 開発者向け設計: シンプルな CLI と OpenAI 互換 API サーバーを備えています。

関連

  • プロジェクト
    NotPunchnox/rkllama

    Rockchip RK3588/3576プラットフォームに最適化されたLLMサーバーおよびクライアントで、NPU上でAIモデルを高速化されたローカル推論で実行可能にします。

  • プロジェクト
    amd/RyzenAI-SW

    AMD Ryzen AI搭載PC上でAI推論の最適化とデプロイを最大化するためのツールおよびランタイムライブラリのセット。

  • プロジェクト
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM は、大規模言語モデル（およびビジュアル生成モデル）を超高速 TensorRT 推論エンジンにコンパイルする NVIDIA のオープンソースライブラリです。カスタム CUDA カーネル、量子化、スパースアテンション、投機的デコード、マルチ GPU 並列処理を提供し、精度を維持しながらトークンスループットを 2〜10 倍向上させます。Python フレンドリーなランタイムは Triton、Kubernetes、Jetson と統合され、GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1、拡散モデルなどのドキュメントと例が含まれています。

  • プロジェクト
    ztxz16/fastllm

    FastLLM は、C++ ベースの、PyTorch 不要の大規模言語モデル推論エンジンです。Dense モデルと MoE モデル、ハイブリッド GPU/CPU/NUMA/ディスク展開、マルチ GPU テンソル並列、投機的デコード（MTP/DSpark/DFlash2）、多くの量子化形式をサポートし、Python CLI、Web UI、OpenAI 互換 API サーバーを提供します。`pip install ftllm` でインストールし、`ftllm run` でモデルを実行、`ftllm server` でサービスを起動します。詳細なドキュメントには、モデル固有のガイド、パフォーマンスチューニング、コミュニティサポートが含まれています。

  • プロジェクト
    joaopauloschuler/neural-api

    Python や CUDA が不要なネイティブPascalのディープラーニングライブラリ。LLM、トランスフォーマー、その他のAIモデルを単一のネイティブバイナリとして実行可能。