google-ai-edge/LiteRT-LM

解決する課題

LiteRT-LMは、デバイス上で大規模言語モデル（LLM）を実行するために設計された本番環境向けのオーケストレーションレイヤーです。クラウドインフラに依存することなく、モバイルデバイス、ウェアラブル、デスクトップ環境など、多様なハードウェアプラットフォーム上で高性能なAIを実行するという課題を解決します。

仕組み

GPUやNPUによるハードウェアアクセラレーションを活用したクロスプラットフォーム実行環境を提供し、パフォーマンスを最大化します。このシステムは幅広いモデル（Gemma、Llama、Phi-4、Qwenなど）をサポートしており、Python、Kotlin、Swift、JavaScript、C++を含む複数の言語向けのAPIを提供しています。

対象ユーザー

Android、iOS、Web、デスクトップ、IoTデバイス（Raspberry Piなど）向けのデバイス上GenAI体験を構築する開発者、およびChromeやChromebook Plusなどの製品にAIを統合する開発者を対象としています。

主な特徴

• クロスプラットフォーム対応: Android、iOS、Web、デスクトップ、IoTで動作します。
• ハードウェアアクセラレーション: GPUおよびNPUアクセラレータに最適化されており、最高のパフォーマンスを発揮します。
• マルチモーダル: テキストに加えて、視覚および音声入力をサポートしています。
• ツール利用: エージェントワークフローのための関数呼び出し（function calling）をサポートしています。
• 幅広いモデルサポート: Gemma、Llama、Phi-4、Qwenなどの人気モデルと互換性があります。
• 開発者ツール: 高速なモデルインポートのためのCLIと、OpenAI互換の埋め込み（embeddings）エンドポイントが含まれています。