ridgerchu/matmulfreellm

해결하는 문제

전통적인 언어 모델에서 행렬 곱셈(MatMul)의 높은 계산 비용을 해결합니다. MatMul 연산을 제거함으로써, 특히 신경형태 하드웨어에 배포할 때 더 효율적인 아키텍처를 목표로 합니다.

작동 방식

이 프로젝트는 표준 행렬 곱셈을 더 효율적인 연산으로 대체하는 언어 모델 아키텍처를 구현합니다. 여러 레이어에서 삼치 가중치(ternary weights)를 활용합니다. Hugging Face Transformers 라이브러리와 호환되며, 표준 AutoModel 및 AutoModelForCausalLM API를 사용해 기존 AI 워크플로우에 쉽게 통합할 수 있습니다.

대상 사용자

효율적인 AI 아키텍처, 신경형태 컴퓨팅에 관심이 있는 연구자 및 개발자, 대규모 언어 모델의 계산 오버헤드를 줄이고자 하는 사람들을 위한 것입니다.

주요 특징

• 행렬 곱셈 없음 아키텍처: 표준 행렬 곱셈 연산의 필요성을 완전히 제거합니다.
• Hugging Face 통합: Transformers 라이브러리와 완전 호환되어 초기화 및 텍스트 생성이 간편합니다.
• 스케일링 효율성: Transformer++보다 더 급격한 스케일링 프로젝션을 보이며, 계산 자원이 증가할수록 더 큰 성능 향상을 기대할 수 있습니다.
• 사전 학습 모델: 370M에서 2.7B 파라미터까지 다양한 크기의 모델을 제공하는 모델 풀을 제공합니다.