tenstorrent/tt-metal

해결하는 문제

TT-Metal은 Tenstorrent 하드웨어를 위한 소프트웨어 스택을 제공하여 개발자가 특수 AI 칩에서 신경망을 실행하고 최적화할 수 있도록 합니다. 이는 고수준 모델 개발과 저수준 하드웨어 실행 사이의 간극을 메워 Llama 3 및 Qwen과 같은 대규모 모델의 효율적인 배포를 가능하게 합니다.

작동 방식

이 프로젝트는 두 가지 주요 계층으로 구성됩니다.

• TT-NN: 고수준 신경망 연산을 제공하는 Python 및 C++ 라이브러리로, 사용자가 모델을 정의하고 실행할 수 있습니다.
• TT-Metalium: 개발자가 Tenstorrent 하드웨어를 위한 커스텀 커널을 직접 작성할 수 있게 하는 저수준 프로그래밍 모델로, 연산 및 데이터 이동에 대한 세밀한 제어를 제공합니다.

이 스택에는 프로파일링, 디버깅, 시각화를 위한 광범위한 도구가 포함되어 있어 개발자가 성능을 모니터링하고 하드웨어 수준의 실행 문제를 해결할 수 있습니다.

대상 사용자

이 프로젝트는 Tenstorrent 하드웨어를 사용하는 AI 연구원, 하드웨어 엔지니어, 시스템 개발자를 위한 것으로, 모델 성능 최적화, 커스텀 커널 구현 또는 하드웨어 수준에서 신경망 실행을 디버깅해야 하는 분들에게 적합합니다.

주요 특징

• 고성능 라이브러리: 고수준 (TT-NN) 및 저수준 (TT-Metalium) 프로그래밍 인터페이스를 모두 포함합니다.
• 모델 지원: Llama 3.3 및 Qwen 2.5와 같은 주요 LLM과 Whisper와 같은 음성 모델에 대한 최적화된 지원을 제공합니다.
• 포괄적인 도구 세트: Tracy Profiler, 커널 디버깅을 위한 DPRINT, TT-NN Visualizer를 포함한 디버깅 및 분석 도구 모음을 갖추고 있습니다.
• 하드웨어 특화 최적화: 행렬 곱셈, 메모리 관리, 멀티 칩 스케일링에 대한 상세한 기술 보고서를 제공하여 하드웨어 활용도를 극대화합니다.