v-modal/vmodal_sdk_smartglass

解決する課題

Androidベースのスマートグラスからクラウドのインジェストサービスへのライブ一人称視点動画のストリーミングという複雑なプロセスを簡素化します。開発者から「メディア配管」の負担を取り除き、ハードウェアエンコード、安全な転送、ネットワーク回復といった困難なタスクを処理するため、ユーザーエクスペリエンスに集中できます。

仕組み

このSDKは、Androidネイティブ管理用のKotlinクライアントと、高性能メディア処理用のRustコアを組み合わせたハイブリッドアーキテクチャを使用しています。

1. Kotlinクライアント: 公開API、カメラ連携、キャプチャセッションのライフサイクルを管理します。
2. Rustコア: 境界付きメディアキュー、H.264正規化、MPEG-TS多重化、暗号化SRT転送を処理します。
3. データフロー: ビデオはMeta DATを介してキャプチャされ、AndroidのH.264ハードウェアエンコーダでエンコードされ、Rustコアで処理され、暗号化SRTを介して開発者のバックエンドが提供するライブインジェストターゲットにストリーミングされます。

対象者

スマートグラス向けの一人称視点動画アプリを開発する開発者。例えば、リモートエキスパートサポート、ハンズフリー現場作業、ライブトレーニング、AR/VRコンパニオンエクスペリエンスなどです。

ハイライト

• 低遅延: GOP対応バックプレッシャーと境界付きキューを使用して、弱いネットワークでのメモリ増加と遅延スパイクを防ぎます。
• 回復力のある接続性: ジッターとタイムアウトを備えた設定可能なSRT再接続を特徴とし、安定したストリームを維持します。
• ハードウェア最適化: AndroidハードウェアH.264エンコーディングを活用して効率を向上します。
• 開発者フレンドリー: FlowとStateFlowを使用したクリーンなKotlin APIを提供し、物理ハードウェアなしでテストするためのAndroidシミュレータを含みます。