tile-ai/tilelang-ascend

Ascend TileLang adapter

解決する課題

TileLang-Ascendは、Huawei Ascend NPU向けに高性能なAI計算カーネルを作成する際の困難を解決します。開発者はPythonライクな構文を使用して最適化されたカーネル（GEMM、アテンション機構、ベクトル演算など）を記述できるため、複雑な低レベルのNPU最適化を手動で処理する必要がなく、最先端のパフォーマンスを維持できます。

仕組み

これはTVMコンパイラインフラストラクチャ上に構築されたドメイン固有言語（DSL）です。メモリ階層（Global、L1、L0バッファ）を管理し、専用のコンパイラバックエンド（Ascend C & PTOおよびAscendNPU IR）を提供することで、高レベルなPythonコードをAscend NPUアーキテクチャにマッピングします。システムは、自動同期とスコープ分離を行う「開発者モード」と、実行スコープと同期フラグを手動で制御する「エキスパートモード」の両方をサポートしています。

対象ユーザー

Huawei Ascend A2およびA3プロセッサ向けに計算ワークロードを最適化する必要があるAIエンジニアおよびカーネル開発者。

主な特徴

  • 幅広い演算子サポート: GEMM、Flash Attention、Sparse Flash Attention、畳み込み、Softmaxの実装が含まれています。
  • メモリ最適化: オンチップメモリのフットプリントを削減する自動バッファ再利用機能と、自動ワークスペース割り当て機能を備えています。
  • パフォーマンスツール: ソフトウェアパイプライン化 (T.Pipelined)、自動ベクトル化 (T.Parallel)、L2キャッシュスウィズリングをサポートしています。
  • PyTorch統合: PyTorchとNPU間のシームレスなワークフローを実現する torch_tl_ascend を提供します。

関連

  • プロジェクト
    deepseek-ai/DeepGEMM-Ascend

    DeepGEMM‑Ascend は、DeepGEMM 行列乗算ライブラリのオープンソースで、Ascend NPU 専用の移植版です。API 互換の BF16/FP8/FP4 GEMM、MQA、MoE カーネルを提供し、Ascend の低レベルレイアウトの複雑さを隠蔽し、Ascend 950 で 98〜99% のハードウェア利用率を主張しています。C++ 拡張をビルドした後、pip でインストール可能で、Huawei のハードウェア上で高速な線形代数プリミティブを必要とする AI エンジニアを対象としています。

  • プロジェクト
    tile-ai/tilelang

    TVM を基盤にした、GEMM や FlashAttention などの高性能 GPU/CPU/NPU カーネルを開発するための簡潔なドメイン固有言語とコンパイラ。

  • プロジェクト
    deepseek-ai/TileKernels

    LLMの学習と推論のための高度に最適化されたカーネルライブラリ。MoEルーティング、量子化、Engramゲーティングの高性能な実装を提供します。

  • プロジェクト
    ztxz16/fastllm

    FastLLM は、C++ ベースの、PyTorch 不要の大規模言語モデル推論エンジンです。Dense モデルと MoE モデル、ハイブリッド GPU/CPU/NUMA/ディスク展開、マルチ GPU テンソル並列、投機的デコード（MTP/DSpark/DFlash2）、多くの量子化形式をサポートし、Python CLI、Web UI、OpenAI 互換 API サーバーを提供します。`pip install ftllm` でインストールし、`ftllm run` でモデルを実行、`ftllm server` でサービスを起動します。詳細なドキュメントには、モデル固有のガイド、パフォーマンスチューニング、コミュニティサポートが含まれています。

  • プロジェクト
    xLLM-AI/xllm

    中国製AIアクセラレータ向けに最適化された効率的なLLM推論フレームワークで、高スループットかつ低遅延なエンタープライズ展開を実現します。