santifer/cv-santiago

解決的問題

靜態的履歷往往無法展示實際的技術能力。本專案提供了一個生產級的互動式作品集，透過實現包含語音聊天機器人、自動評估流水線及全面可觀測性的複雜 AI 系統，作為技能的生動證明。

工作原理

該系統圍繞著名為 "Santi" 的 AI 聊天機器人展開，使用 Claude Sonnet 處理文本，使用 OpenAI Realtime API 處理語音。它採用了代理式 RAG（檢索增強生成）流水線，具有混合搜尋（結合 pgvector 語義搜尋與 BM25 全文搜尋）以及透過 Claude Haiku 進行重排序的功能。

為了確保可靠性，本專案實現了針對提示詞注入的 6 層防禦系統，以及一個「閉環」品質系統，其中生產環境中的失敗（評分低於 0.7）會自動生成新的測試，並透過 CI 門禁阻止未來的部署。所有活動都透過使用 Langfuse 與 Supabase 的私有 LLMOps 控制面板進行追蹤。

適用對象

想要查看生產級 LLM 應用程式參考實作的開發者與 AI 工程師，特別是專注於 RAG、LLMOps 與自動評估框架的人士。

亮點

• 雙模式互動：支援串流文本聊天與低延遲音訊對音訊語音對話。
• 自動評估：涵蓋 10 個類別（例如事實準確性、安全性、RAG 品質）的 71 項自動測試，作為 CI 門禁。
• LLMOps 控制面板：用於監控成本、延遲、安全威脅及 RAG 啟動率的私有 /ops 介面。
• 6 層安全防護：包括 Canary tokens、指紋識別與即時越獄郵件警報在內的全面防禦。
• 自我修復流水線：自動將低品質評分的生產環境追蹤轉換為測試用例，以防止回歸。