flagos-ai/FlagTree

해결하는 문제

FlagTree는 다양한 하드웨어 가속기 간의 AI 소프트웨어 스택의 분열을 해결합니다. 특정 칩마다 AI 워크로드를 다시 작성할 필요 없이, 모델의 이식 및 유지보수 비용을 줄이고 하드웨어 고유의 성능 향상을 실현합니다.

작동 방식

FlagTree는 여러 AI 칩을 위한 통합 컴파일러로, Triton 생태계를 확장하고 확장합니다. NVIDIA, AMD, 화웨이 아센드 등 다양한 하드웨어 백엔드가 통합된 단일 리포지토리 기반의 멀티백엔드 지원 시스템을 제공합니다. 포터블 코드와 하드웨어 특화 최적화 사이의 격차를 메우기 위해 Triton Language Extensions (TLE)를 도입하여, Lite, Struct, Raw의 계층적 추상화를 통해 포터블 사용에서 하드웨어 중심 최적화로 전환할 수 있도록 합니다.

대상 사용자

• 모델 사용자: 코드를 재작성하지 않고 다양한 AI 가속기에서 AI 모델을 컴파일하고 실행하고 싶은 사람.
• 칩 제조사: Triton 생태계에 자사 하드웨어를 표준화된 방식으로 통합하고 싶은 사람.

주요 특징

• 광범위한 하드웨어 지원: NVIDIA, AMD, 화웨이 아센드 및 다양한 AI 가속기 지원.
• Triton Language Extensions (TLE): 메모리 접근 및 실행 패턴의 심층적 성능 최적화를 위한 단계적 추상화 수준 제공.
• 통합 컴파일: AI 워크로드에 대해 "한 번 개발, 어디서나 실행" 워크플로우 가능.
• 성능 향상: Qwen 등의 실제 모델에서 원래 Triton 연산자 코드를 수정하지 않고도 속도 향상 달성.