ooboqoo/shiping

解決する課題

画面上のコンテンツやライブ音声会話に対してリアルタイムのAI支援を提供します。コピー＆ペーストやウィンドウの切り替えをすることなく、技術的な問題、コードエラー、グラフ、外国語のドキュメントを素早く理解できるほか、面接などの音声ベースのやり取り中にリアルタイムのプロンプトを提供します。

仕組み

2つのモードで動作します：

• スクリーンショットモード：画面の一部をキャプチャし、視覚認識可能なAIモデルに送信して、即座に回答やコードの解決策を提供します。
• ダイアログモード：リアルタイムの音声認識（Alibaba Cloud Bailian経由）を使用して進行中の会話を聴き取り、ユーザーに対して簡潔で実行可能なプロンプトやトークポイントを生成します。

どちらのモードも高度にカスタマイズ可能で、特定のAIモデルの選択、カスタムプロンプトの定義、さらにはローカルドキュメント（PDF、Markdownなど）を参照してAIの回答の根拠とすることが可能です。

対象ユーザー

技術面接、オンライン試験、複雑なコーディングタスク中に、迅速かつ目立たないAIサポートを必要とする専門家や学生向けに設計されています。画面共有中にアシスタントウィンドウを隠す「ステルスモード」や、別のデバイスで回答を確認するためのモバイル同期機能が含まれています。

ハイライト

• デュアルモード支援：視覚的な画面分析と音声ベースの会話プロンプトをシームレスに切り替え可能。
• プライバシー重視：画面共有の参加者からアシスタントウィンドウを隠し、ローカルドキュメントの参照をサポート。
• 柔軟なAI統合：OpenAI-compatible APIと互換性があり、好みのプロバイダー（DeepSeek、SiliconFlowなど）を選択可能。
• 速度の最適化：モデルの「思考」プロセスを無効にして応答を高速化し、リアルタイムで非侵入型のUIオーバーレイを提供。
• モバイル同期：ローカルネットワークまたはパブリックリレーを介してスマートフォンでAIの回答を確認し、メインのPC画面をクリアに保つことが可能。