flagos-ai/FlagGems

해결하는 문제

FlagGems는 AI 칩셋별 소프트웨어 스택 간의 분열을 제거하도록 설계되었습니다. 다양한 AI 가속기용 별도의 코드베이스를 다시 작성하거나 유지 관리할 필요 없이, LLM 학습 및 추론에 대해 "한 번 개발하면 어디서나 실행" 가능한 워크플로우를 가능하게 합니다.

작동 방식

Triton 언어로 구현된 고성능이고 일반적인 오퍼레이터 라이브러리입니다. PyTorch ATen 백엔드에 등록함으로써 개발자들은 익숙한 PyTorch API를 사용하면서도, 하위 연산은 Triton 커널을 통해 실행됩니다. 이는 사용자가 저수준 API를 변경하지 않고도 10개 이상의 다양한 하드웨어 플랫폼을 지원하는 백엔드에 독립적인 접근 방식을 제공합니다.

대상 사용자

• PyTorch 코드를 변경하지 않고 하드웨어 가속을 원하는 모델 개발자.
• CUDA보다 더 읽기 쉽고 사용하기 쉬운 언어로 고성능 커널을 작성하고 싶은 커널 개발자.

주요 특징

• 광범위한 하드웨어 지원: 다양한 AI 가속기용 10개 이상의 백엔드를 지원합니다.
• PyTorch 호환성: PyTorch API와 원활하게 통합되며, torch.compile에 의존하지 않고 즉시 모드에서도 사용 가능합니다.
• Triton 기반: CUDA와 유사한 성능을 제공하면서도 더 높은 가독성을 제공합니다.
• 자동 코드 생성: 임의의 입력 유형과 레이아웃을 지원하는 자동 포인트와이즈 오퍼레이터 코드 생성을 포함합니다.
• 효율적인 디스패칭: 함수별 런타임 커널 디스패칭이 매우 빠릅니다.