llama.cpp v1.0.0 リリースノート
安定したAPIとバージョニング
llama.cpp v1.0.0 および ggml v1.0.0 のリリースにより、本プロジェクトはダウンストリーム開発者に対する安定性の提供を正式に約束しました。今後はセマンティックバージョニングを採用し、メジャーバージョンの更新はパブリックなC APIおよびABIに対する破壊的変更を明示的に示すものとします。この移行により、libllama および libggml に依存する拡大し続けるアプリケーションエコシステムが、より確信を持って統合を行えるようになります。
セマンティックバージョニングのルール
- MAJOR:
./includeにあるパブリックC APIに対する破壊的変更。 - MINOR: 後方互換性のある機能、バックエンドの更新、新しいモデルのサポート、またはAPIの追加。
- PATCH: API変更を伴わないバグ修正。
ハードウェアサポートとアーキテクチャ
llama.cpp は、多様なハードウェア間でのマルチモーダルLLM推論を実現する、軽量でポータブルなC/C++実装を提供することに引き続き注力しています。基盤となる ggml テンソルライブラリは、専用バックエンドを通じて事実上あらゆるハードウェアをサポートするように設計されており、これらは動的ライブラリとしてコンパイルし、実行時に読み込むことが可能です。本プロジェクトは現在、150種類以上のモデルアーキテクチャバリアントと、すべての主要な投機的デコード手法をサポートしています。
配布とCIインフラストラクチャ
より広範な採用を促進するため、チームは ggml-org ソフトウェアの配布チャネルを拡大しています。現在および将来の配布方法には、Linux、macOS、Windows、Android、iOS向けのプレリリースアーティファクトのほか、Docker、Debian、Homebrew、conda-forge、MacPorts、Wingetのサポートが含まれます。
開発速度は堅牢なCIインフラストラクチャによって支えられており、正確性を保証するためにHF BucketsやHF JobsといったHugging Faceの技術を活用しています。本プロジェクトは、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelなどのハードウェアプラットフォームにまたがる広範なセルフホスト型ランナーを維持し、互換性とパフォーマンスを保証しています。