erwinmsmith/SOMAS

해결 과제

SOMAS는 안전성과 신뢰성이 무엇보다 중요한 고위험 위기 대응 시나리오에서 다중 에이전트 시스템을 배포할 때 발생하는 문제를 해결합니다. 이 프레임워크는 작업 완료와 엄격한 안전 가드레일 사이의 균형을 유지하여, AI 에이전트가 인간과 협업할 때 책임감 있게 행동하도록 보장합니다.

작동 원리

이 프레임워크는 온라인 실행 시스템과 오프라인 시뮬레이션 시스템이라는 두 가지 주요 모드로 작동합니다. 온라인 시스템은 GPT-4 기반의 위험 평가와 통합된 계획-실행 파이프라인을 사용하여 에이전트의 행동을 실시간으로 모니터링하고 안내합니다. 오프라인 시스템은 합성 작업 생성과 경험 재생을 사용하여 강화 학습 정책을 개선하고 더 안전한 의사 결정을 내릴 수 있도록 훈련 및 최적화에 중점을 둡니다.

대상 사용자

이 프로젝트는 안전이 중요한 AI 애플리케이션을 구축하는 연구자와 개발자, 특히 비상 상황이나 위기 관리 환경에서의 인간-기계 협업에 중점을 둔 분들을 위해 설계되었습니다.

주요 특징

• 실시간 작업 실행과 오프라인 시뮬레이션 학습을 모두 지원하는 듀얼 모드 아키텍처.
• 미세 조정된 안전한 LLM과 비상 상황을 위한 전문 데이터셋 포함.
• 기본 모델 대비 유용성 15% 향상 및 위험 대응률 40% 감소 입증.
• 강화 학습을 사용하여 작업 유용성과 안전 제약 조건을 비교 평가하는 동적 신뢰 메커니즘 구현.