TEN-framework/ten-framework

Open-source framework for conversational voice AI agents

解決する課題

TEN は、リアルタイムでマルチモーダルな会話型AIエージェントを構築するためのフレームワークを提供します。音声、テキスト、視覚情報の同時入出力を処理できる低レイテンシーアシスタントの開発における複雑さに対処し、リップシンク付きのアバター付き音声アシスタントやリアルタイム字幕生成ツールなどのユースケースを可能にします。

動作方法

TEN は拡張可能なフレームワークとして動作し、開発者は音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）の各種拡張を連鎖的に組み合わせることができます。RTC および WebSocket 接続をサポートし、ESP32-S3 などのハードウェアと統合可能です。システムにはエージェントのプロパティやAPIキーを視覚的に設定できる「TMAN Designer」が含まれています。

対象ユーザー

インタラクティブなAIアプリケーションを開発する開発者向けです。シンプルな音声アシスタントや字幕生成ツールから、リアルタイムの話者識別やアニメーションアバターといった複雑なマルチモーダル体験まで、幅広く対応しています。

主な特徴

  • マルチモーダル対応: 音声、テキスト、視覚データをリアルタイムで処理可能。
  • 低レイテンシー: 高品質なリアルタイム会話体験を最適化。
  • 拡張性のあるエコシステム: フルデュプレックス会話を可能にするための音声活動検出（VAD）および話者交代検出ツールを搭載。
  • ハードウェア統合: ESP32-S3 Korvo V3 などの開発ボードでのデプロイをサポート。
  • 柔軟なデプロイ: Docker によるホスティング、またはコンテナ化されたバックエンドとホスティングされたフロントエンド（例: Vercel/Netlify）の分離も可能。

関連

  • プロジェクト
    GetStream/Vision-Agents

    リアルタイムのビデオストリーミングと LLM、コンピュータビジョンモデルを組み合わせ、インタラクティブなビジュアル体験を実現する低遅延・マルチモーダル AI エージェント構築用フレームワーク。

  • プロジェクト
    livekit/agents

    LiveKit Agentsは、LiveKitサーバー上で動作するリアルタイムのマルチモーダル音声エージェント（LLM駆動型アシスタント）を構築するためのPython SDKです。STT/LLM/TTS用の統合アダプター、ジョブスケジューリング、WebRTC/電話統合、ターン検出、MCPツールサポート、および組み込みのテストフレームワークを提供します。

  • プロジェクト
    evalstate/fast-agent

    Model Context Protocol (MCP) との深いつながりと高度なオーケストレーションパターンを備えた、マルチモーダルAIエージェントおよびワークフローを構築するための柔軟なフレームワーク。

  • プロジェクト
    pipecat-ai/pipecat

    Pipecatは、リアルタイムの音声ファーストおよびマルチモーダルAIエージェントを構築するためのオープンソースのPythonフレームワークです。数十の音声認識、LLM、音声合成サービスへのプラグアンドプレイサポート、組み合わせ可能なパイプライン、組み込みのマルチエージェントオーケストレーションを提供します。エコシステムには、クライアントSDK（JS、React、Swift、Kotlin、C++、ESP32）、プロジェクトの雛形を作成するCLI、UIコンポーネントライブラリ、デバッガー（Whisker）、多数のサンプルボットが含まれます。音声中心の会話システムを迅速にプロトタイプまたはデプロイしたい開発者や研究者に最適です。

  • プロジェクト
    livekit/agents-js

    WebRTCを使用して、見て、聞いて、理解できるリアルタイムのマルチモーダル音声エージェントを構築するためのNode.jsフレームワーク。