Banque des Territoires、Polyconseil 與 Hugging Face 部署主權 RAG 解決方案以支援 EduRénov 計畫

TL;DR

Banque des Territoires、Polyconseil 與 Hugging Face 已交付一套主權、開源的檢索增強生成（Retrieval‑Augmented Generation，RAG）系統，能自動回覆 EduRénov 計畫的電子郵件，提供更快速、具來源引用的支援，以進行 10,000 所法國公立學校的生態翻新，同時將資料與運算保持在法國的控制之下。

執行摘要

Banque des Territoires（BdT，屬於 Caisse des Dépôts et Consignations）、顧問公司 Polyconseil 與 AI 平台 Hugging Face 之間的聯合專案第一階段已產出原型 RAG 應用程式。此工具旨在簡化支撐 EduRénov 計畫的電子郵件互動，該計畫是法國的旗艦倡議，負責為 10,000 所公立學校設施的節能翻新提供資金與協調。透過使用開源模型與法國認證的雲端供應商，解決方案符合嚴格的資料主權需求，同時展示生成式 AI 在公共部門工作流程中的可擴展性。

為何 RAG 符合 EduRénov 任務

EduRénov 目標支援 10,000 個翻新專案——約佔法國學校基礎設施的 20%，並在五年內達成 40% 的能源消耗減少，背後有 20 億歐元的貸款與 5,000 萬歐元的前期工程資金。計畫的成功仰賴 BdT 專家、CDC 官員與地方當局之間大量且重複的電子郵件往來。這些往來依賴龐大的共享文件資料庫，使檢索增強生成系統成為快速且一致呈現相關資訊的理想方式。

"EduRénov 已找到其專案與穩定的推進速度；現在我們將提升與地方當局的關係品質，同時尋求更多新專案，" 計畫主管 Nicolas Turcat 如是說。

公共機構因資料敏感性與主權考量對生成式 AI 持謹慎態度。開源 LLM 生態系統如今已能匹敵專有性能，使 CDC 能夠試點一項資料轉換專案，確保主權運算與模型使用。

確保規模化的效能與主權

早期使用 Hugging Face 開源堆疊（Transformers、Sentence‑Transformers、Tokenizers、Text Generation Inference）進行的實驗證實了 RAG 方法的可行性。為符合法國公共部門的安全標準，聯盟選擇了：

  • Polyconseil – 一家以 Agile 為核心的數位創新顧問公司，具備認證的本地與雲端部署專長（AWS Advanced Tier Services 合作夥伴、GCP Cloud Architect、Kubernetes CKA）。Polyconseil 提供完整的資料科學家、工程師、DevOps、UI/UX 設計師與產品經理團隊。
  • Hugging Face – 全球超過 750,000 個模型與 175,000 個資料集的中心，提供 Text Generation Inference（TGI）服務，以高效能、容器化的 LLM 服務。
  • NumSpot – 法國雲端供應商，具 SecNumCloud 認證，建構於 Outscale 的 IaaS（Dassault Systèmes）之上，確保資料居留與合規。

因此，解決方案在法國主權基礎設施上執行開源模型，消除對外國商業 API 的依賴。

動態領域的模組化架構

此應用程式允許 BdT 代理人貼上收到的潛在客戶電子郵件，自動產生引用 EduRénov 文件的草稿回覆，並讓代理人在發送前編輯與批准回覆。工作流程如下：

  1. 透過現有渠道接收客戶電子郵件。
  2. 電子郵件轉發至新使用者介面。
  3. Orchestrator（協調器）建立檢索查詢。
  4. Retriever（檢索器）從向量資料庫（基於嵌入的搜尋）取得相關段落。
  5. Orchestrator 產生包含檢索上下文與來源引用的提示詞。
  6. Reader 模組（LLM）生成建議回覆。
  7. 代理人審閱、編輯並驗證建議，提供 RLHF 風格的回饋。
  8. 驗證後的回覆透過訊息系統發送。
  9. 收件人收到帶有明確來源參考的答案。
  10. 使用過的文件公開儲存庫可供驗證。

此管線由四個子系統支援：

  • User interface – 文件匯入、建立微調與 RLHF 資料集（green）。
  • Messaging layer – 與現有電子郵件系統整合（black）。
  • RAG core – 檢索與生成元件（purple）。
  • Feedback & training store – 管線日誌、微調資料與 RLHF 回饋（red）。

成功關鍵因素

  • Model‑agnostic modularity – LLM、嵌入模型與檢索方法可透過設定切換，讓最新技術演進時能快速實驗。
  • Modular monolith with hexagonal architecture – 將業務邏輯隔離，同時將 GPU 密集的 LLM 推論委派給外部 TGI 服務。
  • Open‑source French models – 目前使用 Mistral‑7B‑Instruct‑v0.3；其他候選模型如 CroissantLLM（由 CentraleSupélec 的 MICS 實驗室與 Illuin Technology 合作）正評估其法語倫理與效能。
  • Agile ScrumBan team – 單一跨功能小組每週舉行 AI‑breakthrough 簡報，由 Hugging Face Expert Support 專家主持，確保知識傳遞至 BdT 的資料團隊。
  • Robust evaluation – 早期 MVP 包含使用 RAGAS library 的定性與定量筆記本，提供可重現的基準以供未來改進。

「根據此試點，此方法開闢了新道路：未來公共政策在各領域的部署很可能會採用此方式，並結合國家生態與能源轉型所需的資金，」BdT 的創新與策略總監 Hakim Lahlou 如是說。

公共部門 AI 的影響

此案例研究證明，主權、開源的生成式 AI 能在規模上部署於關鍵公共計畫，且不會影響資料居留。透過結合模組化 RAG 流程、法國認證的雲端基礎設施與本地訓練模型，聯盟為其他需要安全、高吞吐量文件中心自動化的政府倡議提供藍圖。

如果您在 AI 專案中面臨主權挑戰，請聯繫 Polyconseil（電郵 alivia@polyconseil.fr）。如需 Hugging Face Expert Support 的諮詢，請透過 Hugging Face 銷售聯絡頁面聯繫。

Sources