tenstorrent/tt-metal

解决的问题

TT-Metal 为 Tenstorrent 硬件提供了一套软件堆栈，使开发人员能够在专用 AI 芯片上运行并优化神经网络。它弥合了高阶模型开发与低阶硬件执行之间的差距，实现了像 Llama 3 和 Qwen 等大规模模型的高效部署。

运作方式

该项目由两个主要层级组成：

• TT-NN：一个提供高阶神经网络运算的 Python 和 C++ 库，允许用户定义并运行模型。
• TT-Metalium：一个低阶编程模型，允许开发人员直接为 Tenstorrent 硬件编写自定义内核，提供对计算与数据移动的细粒度控制。

该堆栈包含用于性能分析、调试与可视化的广泛工具，确保开发人员能够监控性能并排查硬件层级的执行问题。

适用对象

此项目适用于使用 Tenstorrent 硬件的 AI 研究人员、硬件工程师与系统开发人员，他们需要优化模型性能、实现自定义内核，或在硬件层级对神经网络执行进行调试。

特色亮点

• 高性能库：包含高阶 (TT-NN) 与低阶 (TT-Metalium) 编程接口。
• 模型支持：针对主流大型语言模型（如 Llama 3.3 和 Qwen 2.5）以及语音模型（如 Whisper）提供优化支持。
• 综合工具集：具备一套调试与分析工具，包括 Tracy Profiler、用于内核调试的 DPRINT 以及 TT-NN Visualizer。
• 硬件特定优化：提供关于矩阵乘法、内存管理与多芯片扩展的详细技术报告，以最大化硬件利用率。