erwinmsmith/SOMAS

解決的問題

SOMAS 解決了在人機協同危機回應中確保安全性和可靠性的挑戰。透過在任務效用與嚴格安全限制之間取得平衡，防止緊急情況下的高風險 AI 行為。

工作原理

該框架採用結合視覺語言模型與強化學習的雙模式架構：

• 線上執行系統：透過包含模組化任務鏈與安全防護機制的規劃-執行流水線，管理即時任務，包括基於 GPT-4 的風險評估。
• 離線模擬系統：利用合成任務生成與經驗回放庫，訓練與優化用於風險預測的強化學習策略。

適用對象

需要人類監督的高風險、安全關鍵型環境中，開發多智能體系統的緊急應變團隊與開發者。

主要亮點

• 雙模式架構：結合即時執行與離線模擬訓練。
• 安全的 LLM：包含專為緊急情境微調的 LLM 與訓練資料集。
• 經驗證的效能：相比基線，風險回應率降低 40%，幫助性提升 15%。