santifer/cv-santiago

解決する課題

静的な履歴書では、実際の技術力を示すことができないことがよくあります。このプロジェクトは、音声対応チャットボット、自動評価パイプライン、および完全なオブザーバビリティを含む複雑なAIシステムを実装することで、スキルの生きた証明となるプロダクショングレードのインタラクティブなポートフォリオを提供します。

仕組み

このシステムは、「Santi」という名前のAIチャットボットを中心に構成されており、テキストにはClaude Sonnetを、音声にはOpenAI Realtime APIを使用しています。ハイブリッド検索（pgvectorによるセマンティック検索とBM25による全文検索の組み合わせ）とClaude Haikuによるリランキングを特徴とする、エージェンティックRAG（Retrieval-Augmented Generation）パイプラインを採用しています。

信頼性を確保するために、プロンプトインジェクションに対する6層の防御システムと、本番環境での失敗（スコア0.7未満）が自動的に新しいテストを生成し、CIゲートを介して将来のデプロイをブロックする「クローズドループ」品質システムを実装しています。すべての活動は、LangfuseとSupabaseを使用したプライベートなLLMOpsダッシュボードを通じて追跡されます。

対象者

RAG、LLMOps、および自動評価フレームワークに特に焦点を当てた、プロダクションレベルのLLMアプリケーションのリファレンス実装を見たい開発者やAIエンジニア向けです。

ハイライト

• デュアルモード・インタラクション: ストリーミングテキストチャットと低遅延のオーディオ・ツー・オーディオ音声セッションの両方をサポート。
• 自動評価: 10のカテゴリ（例：事実の正確性、安全性、RAGの品質）にわたる71の自動テストがCIゲートとして機能。
• LLMOpsダッシュボード: コスト、レイテンシ、セキュリティ脅威、およびRAGの起動率を監視するためのプライベートな /ops インターフェース。
• 6層セキュリティ: Canary tokens、フィンガープリント、リアルタイムのジェイルブレイクメールアラートを含む包括的な防御。
• 自己修復パイプライン: 低品質スコアの本番トレースを自動的にテストケースに変換し、デグレードを防止。