hardrave/NIGHTRUN

해결하는 문제

NightRun은 기존 운영 체제(Linux나 Windows 등) 없이 컴퓨터를 직접 채팅 인터페이스로 부팅할 수 있게 해주는 로컬 LLM 런타임입니다. 커널, 브라우저, 네트워크 스택의 오버헤드를 제거하여 기기를 전용 오프라인 AI 어플라이언스로 변환합니다.

작동 원리

Rust로 작성된 NightRun은 UEFI 애플리케이션으로 작동합니다. 기기의 펌웨어를 활용하여 기본적인 하드웨어 상호작용(디스플레이 및 키보드 등)을 처리하고, USB 스틱이나 SD 카드에서 양자화된 모델을 RAM으로 로드합니다.

주요 기술적 세부 사항은 다음과 같습니다:

• 모델 수명 주기: 사용자 정의 .nrm 컨테이너 형식을 사용하며, 스트리밍 과정에서 CRC-32 체크섬을 통해 모델 데이터를 검증합니다. 로드가 완료되면 스토리지는 "봉인"되며, 이는 예측 가능한 성능과 보안을 보장하기 위해 시스템이 추가적인 디스크 읽기를 방지함을 의미합니다.
• 추론 엔진: 수작업으로 작성된 양자화 커널(x86_64용 AVX2 및 Raspberry Pi 5용 NEON)을 갖추고 있어, 비양자화 복사본 없이도 Llama 3.2, Qwen3, Granite 4.1과 같은 모델을 실행합니다.
• 검증: 이 프로젝트는 llama.cpp와 엄격한 토큰 대 토큰 패리티를 유지하여 정확성을 보장합니다.

대상 사용자

x86_64 PC 또는 Raspberry Pi 5 하드웨어에서 완전히 격리된 오프라인 LLM 경험을 원하는 사용자와 베어메탈 스타일의 AI 추론에 관심이 있는 시스템 프로그래머를 위해 설계되었습니다.

주요 특징

• OS리스 부팅: UEFI Boot Services를 사용하여 USB/SD 카드에서 직접 LLM 프롬프트로 부팅합니다.
• 하드웨어 지원: 64비트 UEFI 기기 및 Raspberry Pi 5와 호환됩니다.
• 고성능: 메모리 대역폭 제한 디코딩 속도는 llama.cpp와 비슷합니다.
• 정밀 설치 프로그램: 엄격한 장치 지문 인식과 수동 확인을 통해 시스템 디스크에 대한 우발적인 플래싱을 방지하는 신중한 설치 프로그램입니다.
• 사용자 정의 모델 형식: .nrm 형식은 텐서의 제로 카피 뷰와 임베디드 토크나이저를 허용합니다.