mozilla-ai/llamafile

何を解決するか

llamafile は、大規模言語モデル（LLMs）および音声認識ツールの配布と実行を簡素化します。インストールの複雑さ、依存関係の管理、環境設定の煩雑さを排除し、ほとんどのオペレーティングシステムとCPUアーキテクチャ上で、ソフトウェアのインストールなしにオープンソースのLLMをローカルで実行できるようにします。

仕組み

llama.cpp と whisper.cpp を Cosmopolitan Libc と統合して、1つの実行可能ファイルを作成します。この「llamafile」は、モデルの重みと推論エンジンを1つのポータブルでクロスプラットフォーム対応のバイナリにバンドルし、macOS、Linux、BSD、Windows（一部のサイズ制限あり）上で直接実行できます。

対象ユーザー

ゼロインストールで、最小限の技術的障壁でオープンソースのLLMや音声認識ツールをローカルで実行したい開発者やエンドユーザー。

特徴

• 1ファイル配布: モデルとエンジンを1つの実行可能ファイルにバンドル。
• クロスプラットフォーム: ほとんどのオペレーティングシステムとCPUアーキテクチャで動作。
• ゼロインストール: 依存関係のインストールや環境管理の必要なし。
• whisperfileを含む: whisper.cpp を基にした音声の字幕化・翻訳用の1ファイルツールを提供。
• 広範なモデル対応: llama.cpp との統合により、さまざまなモデルサイズとアーキテクチャをサポート。