hardrave/NIGHTRUN

解決する課題

NightRunは、従来のオペレーティングシステム（LinuxやWindowsなど）を必要とせず、コンピュータを直接チャットインターフェースとして起動できるローカルLLMランタイムです。カーネル、ブラウザ、ネットワークスタックのオーバーヘッドを排除し、マシンを専用のオフラインAIアプライアンスに変えます。

仕組み

Rustで記述されたNightRunは、UEFIアプリケーションとして動作します。マシンのファームウェアを活用して基本的なハードウェア対話（ディスプレイやキーボードなど）を処理し、USBスティックやSDカードから量子化モデルをRAMにロードします。

主な技術的詳細は以下の通りです：

• モデルのライフサイクル: カスタムの .nrm コンテナ形式を使用し、ストリーミングプロセス中にCRC-32チェックサムを介してモデルデータを検証します。ロードが完了するとストレージは「シール」され、予測可能なパフォーマンスとセキュリティを確保するために、システムはそれ以降のディスク読み取りを防止します。
• 推論エンジン: 手書きの量子化カーネル（x86_64用にはAVX2、Raspberry Pi 5用にはNEON）を搭載しており、非量子化コピーを必要とせずに Llama 3.2、Qwen3、Granite 4.1 などのモデルを実行します。
• 検証: このプロジェクトは llama.cpp との厳密なトークン単位のパリティを維持し、正確性を保証しています。

対象ユーザー

x86_64 PCやRaspberry Pi 5ハードウェア上で完全に分離されたオフラインのLLM体験を求めるユーザー、およびベアメタルスタイルのAI推論に関心のあるシステムプログラマー向けに設計されています。

ハイライト

• OSレスブート: UEFI Boot Services を使用して、USB/SDカードから直接LLMプロンプトへ起動します。
• ハードウェアサポート: 64ビットUEFIマシンおよびRaspberry Pi 5と互換性があります。
• 高性能: メモリ帯域幅に制限されたデコード速度は llama.cpp に匹敵します。
• サージカルインストーラー: 厳格なデバイスフィンガープリントと手動確認を通じて、システムディスクへの誤った書き込みを防ぐ慎重なインストーラーです。
• カスタムモデル形式: .nrm 形式により、テンソルのゼロコピービューと埋め込みトークナイザーが可能になります。