thesysdev/appless

What if your phone had no apps

解決する課題

AppLess は、従来の静的アプリやメニューを置き換える、生成型UIオペレーティングシステムとしてモバイルユーザー体験を再設計します。インストール済みアプリをナビゲートするのではなく、ユーザーは必要なものを直接要求するだけで、システムがその場でカスタムでインタラクティブなネイティブ画面を生成します。

動作方法

このシステムは、vLLMを介して提供される特殊なモデル OUI-1 を使用し、コンパクトでストリーミング最適化のUI言語「openui-lang」を記述します。その後、レンダラーがこの言語を実際のネイティブコンポーネントに変換します——iOSにはCupertino、AndroidにはMaterial 3を使用することで、デバイスに自然に溶け込むインターフェースを実現します。リアルなデータを提供するために、モデルはExaなどの外部ツール（Web検索など）を呼び出すことができ、ナビゲーションは次の画面を予測して事前にプリフェッチすることでスムーズになります。

対象ユーザー

主に生成型UIに興味を持つ開発者や研究者向けの実験的プロジェクトであり、リアルワールドAPIを提供されたシェルに統合することで、アプリレスなモバイルインターフェースの新しいパラダイムを構築したい人向けです。

特徴

  • 生成型ネイティブUI: スクリーンはライブストリーミングされ、静的JSONやWebビューではなく、ネイティブiOSまたはAndroidコンポーネントとしてレンダリングされます。
  • プラットフォーム対応レンダリング: 1つのモデル契約により、同じプロンプトがデバイスのネイティブデザインシステムに応じて異なる方法でレンダリングされます。
  • 予測的プリフェッチ: ユーザーの次の操作を予測し、その画面を事前に生成することで、ナビゲーションを瞬時に感じさせます。
  • ツール統合: ストリーミング中にツール呼び出し（例：Web検索）をサポートし、生成コンテンツをリアルタイムデータに基づいています。

関連

  • プロジェクト
    thesysdev/openui

    OpenUI は、フレームワークに依存しないストリーミングファーストの UI ライブラリで、LLM がコンパクトな言語（OpenUI Lang）を使用して UI コンポーネントを生成できるようにします。パーサー、プロンプト生成器、React、Vue、Svelte、Angular 用のランタイムバインディング、およびアプリのスキャフォールディング用 CLI を提供します。この言語は JSON と比較してトークン使用量を約 50% 削減し、モデル生成インターフェースのプログレッシブレンダリングを可能にします。

  • プロジェクト
    AGenUI/AGenUI

    AGenUIは、GoogleのA2UI v0.9プロトコルを実装し、iOS、Android、HarmonyOSでLLM生成のインタラクティブUIをリアルタイムにレンダリングするプロダクショングレードのSDKです。共有C++コアが解析、レイアウト、差分計算を処理し、ネイティブレンダラーがコンポーネントを描画します。22の組み込みUIコンポーネント、カスタムコンポーネント登録、Function Callサポート、LLM出力を制約する自己完結型JSONカタログスキーマ、自然言語をUIプロトコルメッセージに変換するエージェントスキル、プロトタイピング用のローカルStudioワークベンチを備えています。

  • プロジェクト
    minitap-ai/mobile-use

    自然言語を使用して Android および iOS デバイスの自動化を実現するオープンソースの AI エージェント。アプリからタスクの実行やデータのスクレイピングを可能にします。

  • プロジェクト
    vercel-labs/json-render

    json-render は、AI がプロンプトからインターフェースを作成できるようにしながら、安全性と予測可能性を維持する生成 UI フレームワークです。AI の出力を定義済みのコンポーネントとアクションのカタログに制限し、それらを複数のプラットフォームでレンダリングします。

  • プロジェクト
    wandb/openui

    UI コンポーネントを自然言語で記述し、リアルタイムでレンダリング結果を確認でき、React、Svelte、Web Components に変換できるオープンソースツールです。