tenstorrent/tt-metal

解決する課題

TT-MetalはTenstorrentハードウェア向けのソフトウェアスタックを提供し、開発者が専用AIチップ上でニューラルネットワークを実行・最適化できるようにします。高レベルなモデル開発と低レベルなハードウェア実行の間のギャップを埋め、Llama 3やQwenのような大規模モデルの効率的なデプロイを可能にします。

仕組み

このプロジェクトは主に2つの層で構成されています。

• TT-NN: 高レベルなニューラルネットワーク演算を提供するPythonおよびC++ライブラリで、ユーザーはモデルの定義と実行が可能です。
• TT-Metalium: Tenstorrentハードウェア向けにカスタムカーネルを直接記述できる低レベルなプログラミングモデルで、計算とデータ移動に対するきめ細かな制御を提供します。

このスタックには、プロファイリング、デバッグ、可視化のための広範なツールが含まれており、開発者はパフォーマンスを監視し、ハードウェアレベルの実行に関するトラブルシューティングを行うことができます。

対象ユーザー

このプロジェクトは、Tenstorrentハードウェアを使用するAI研究者、ハードウェアエンジニア、システム開発者を対象としています。モデルのパフォーマンス最適化、カスタムカーネルの実装、またはハードウェアレベルでのニューラルネットワーク実行のデバッグが必要な方に最適です。

ハイライト

• 高性能ライブラリ: 高レベル (TT-NN) と低レベル (TT-Metalium) の両方のプログラミングインターフェースが含まれています。
• モデルサポート: Llama 3.3やQwen 2.5などの主要なLLMや、Whisperのような音声モデルに対する最適化されたサポートを提供します。
• 包括的なツール群: Tracy Profiler、カーネルデバッグ用のDPRINT、TT-NN Visualizerなど、デバッグおよび分析ツールスイートを備えています。
• ハードウェア固有の最適化: 行列演算、メモリ管理、マルチチップスケーリングに関する詳細な技術レポートを提供し、ハードウェアの利用率を最大化します。