nerdai/llms-from-scratch-rs

해결하는 문제

Sebastian Raschka의 책 Build An LLM From Scratch는 GPT 스타일의 대규모 언어 모델을 단계별로 구축하는 방법을 가르치지만, 모든 코드는 PyTorch(Python)로 작성되어 있습니다. 이 프로젝트는 Rust 개발자를 위한 문제를 해결합니다: 책의 전체 코드를 Rust로 번역하여 Python을 전혀 사용하지 않고도 동일한 튜토리얼을 따라가며 LLM 내부를 배울 수 있게 합니다.

작동 방식

이 프로젝트는 책의 7개 장을 반영하며, 텍스트 데이터 처리, 어텐션 메커니즘, GPT 모델 구현, 레이블 없는 데이터 사전 훈련, 분류를 위한 미세 조정, 지시 따르기를 위한 미세 조정 등의 주제를 다룹니다. Candle 크레이트(Hugging Face의 미니멀리스트 ML 프레임워크)를 사용하여 동등한 Rust 코드를 작성합니다. 저장소는 각 장에 대해 실행 가능한 "예제"와 "연습문제"를 제공합니다. 저장소를 클론하고 책에서 사용된 동일한 데이터셋(the-verdict.txt)을 다운로드한 다음 cargo run example 05.07 또는 cargo run exercise 5.5와 같은 cargo 명령으로 특정 예제나 연습문제를 실행합니다. cargo run list --examples 또는 cargo run list --exercises로 사용 가능한 모든 항목을 나열할 수도 있습니다. 코드는 각 예제/연습문제가 필요한 import를 정확히 보여주도록 구성되어 있어 학습에 도움이 됩니다. CUDA 지원 GPU가 있으면 cuda 기능을 활성화하여 계산을 가속화할 수 있습니다.

대상 독자

이것은 검증된 단계별 튜토리얼을 따라 GPT와 같은 LLM이 내부적으로 어떻게 작동하는지 이해하려는 Rust 개발자를 위한 것입니다. 또한 Rust 구현을 보고 싶은 책의 독자와 Transformer 기반 LLM 구축에 대한 비Python 접근 방식에 관심이 있는 모든 사람에게 유용합니다.

주요 특징

• 책의 장에 대한 완전한 Rust 번역, 모두 Candle ML 프레임워크로 구축되었습니다.
• 책을 반영하는 실행 가능한 예제와 연습문제로 핵심 개념을 연습할 수 있습니다.
• 책과 정확히 동일한 데이터셋을 사용하여 바로 사용할 수 있는 동반자 역할을 합니다.
• CUDA를 지원하여 호환 GPU에서 가속 실행이 가능합니다.
• crates.io에 게시되어 cargo install로 설치하고 어디서나 실행할 수 있습니다.