pipecat-ai/pipecat

Open Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.

Pipecat – リアルタイム音声・マルチモーダルAIエージェントフレームワーク

Pipecat は、リアルタイムで話し、聞き、見て、行動する対話エージェントを構築できるオープンソースのPythonライブラリです。音声認識、大規模言語モデル（LLM）バックエンド、音声合成、視覚モデル、カスタム処理ステップを、組み合わせ可能なパイプラインに統合するためのプラグアンドプレイアーキテクチャを提供します。パイプラインは、単一エージェントのボットにすることも、専門エージェントが引き継ぎ、並行実行、またはサイドカーとして動作し、ローカルまたはマシン間で分散可能な共有バス上で調整される完全なマルチエージェントシステムにすることもできます。

Pipecatで構築できるもの

音声アシスタント – サポートされている任意のSTT、LLM、TTSサービスを利用した、ストリーミング、低遅延の会話。
マルチエージェントシステム – 引き継ぎやファンアウトを行う専門エージェントのチェーン。複雑な対話フローに役立ちます。
AIコンパニオン＆ビジネスボット – コーチ、会議アシスタント、顧客獲得フローなど。
マルチモーダルインターフェース – 音声とビデオ、画像、その他のメディアを組み合わせます。
インタラクティブストーリーテリング – ゲームやクリエイティブツールのための生成メディアパイプライン。
構造化ダイアログ – 状態管理された事前定義の会話パスを提供するPipecat Flows。

コアコンセプト

アイデア	意味
音声ファースト	単一のストリーミングパイプラインで、音声認識、LLM推論、音声合成の組み込みサポートを提供します。
プラグ可能なサービス	30以上のSTT、30以上のLLM、30以上のTTSプロバイダーを標準でサポート（例：OpenAI Whisper、Anthropic、ElevenLabs、Azure、NVIDIAなど）。
組み合わせ可能なパイプライン	パイプラインはモジュール式のプロセッサから構成され、任意のサービスを自由に組み合わせられます。
マルチエージェント対応	各パイプラインはエージェントとして機能し、共有バスによりエージェントの引き継ぎ、サイドカー実行、並列ファンアウトをローカルまたはプロセス/マシン間で実行できます。
リアルタイム	WebSocketやWebRTCなどの超低遅延トランスポート向けに設計されています。

エコシステムとツール

クライアントSDK – JavaScript、React、React-Native、Swift、Kotlin、C++、さらにはESP32向けの公式ライブラリで、フロントエンドがPipecatサーバーと通信できます。
Pipecat CLI – pipecat init が新規プロジェクトを構築し（コード生成にClaude Codeを使用）、エージェントの監視とデプロイのコマンドを提供します。
Pipecat Flows – リポジトリにサンプルを含む構造化会話フレームワーク。
Pipecat UI – 美しい音声AIフロントエンドを構築するためのコンポーネントライブラリ（shadcn スタイル）。
Whisker – パイプラインのリアルタイムデバッガー。
Tail – エージェントを観察するためのターミナルダッシュボード。
スキルマーケットプレイス – コードの生成、デプロイ、新サービスの追加ができるClaude Codeプラグイン。
コミュニティ統合 – 独自のサービスアダプターを公開するためのドキュメントとガイド。
Pipecat TV – デモ、インタビュー、チュートリアルを含むYouTubeプレイリスト。

はじめに

# ライブラリとCLIをインストール（uvはオプション）
uv tool install "pipecat-ai[cli]"
# クイックプロジェクトを構築
pipecat init quickstart

クイックスタートガイドでは、1分以内に実行可能なボットを構築できます。

ドキュメントとリソース

完全なドキュメント: https://docs.pipecat.ai
サンプルリポジトリ: https://github.com/pipecat-ai/pipecat-examples (チャットボット、ストーリーテリング、ビジョン、翻訳など)
Discordコミュニティ: https://discord.gg/pipecat
PyPIパッケージ: pipecat-ai

Pipecatは誰のためのもの？

音声ファーストの消費者向けアプリやエンタープライズボットを開発する開発者。
マルチモーダルエージェントのアーキテクチャをプロトタイプする研究者。
多くのSTT/LLM/TTSプロバイダーをグルーコードなしで試すためのプラグアンドプレイの方法を必要とするチーム。
複数のAIサービスを調整して一貫した会話体験を実現する、リアルタイムで拡張可能なフレームワークを必要とする人。

TL;DR

Pipecatは、サポートされている音声、言語、ビジョンサービスの豊富なライブラリ、組み合わせ可能なパイプライン、クライアントSDK、CLIツール、UIコンポーネント、デバッグユーティリティの完全なエコシステムを備え、ストリーミング音声およびマルチモーダルAIエージェントを迅速に作成できるPythonフレームワークです。

リンク

リポジトリ: https://github.com/pipecat-ai/pipecat
ドキュメント: https://docs.pipecar.ai (元のスペルミス – 実際のリンクは https://docs.pipecat.ai)
Discord: https://discord.gg/pipecat