신뢰할 수 있는 자율성으로의 길: 가드레일과 데이터 플라이휠

가드레일과 데이터 플라이휠을 통한 신뢰할 수 있는 자율성

로봇 시스템은 통제된 환경에서 고도로 안무된 반복 동작에서 대규모 실제 환경 배치로 전환하고 있습니다. 학습 알고리즘과 엔드‑투‑엔드 AI 아키텍처의 발전으로 로봇은 복잡한 센서 모달리티와 범용 조작을 처리할 수 있게 되었지만, 여전히 예측할 수 없는 실패에 취약합니다. 신뢰할 수 있는 자율성을 달성하려면 "완벽한" 모델을 만드는 목표를 넘어, 자신의 한계를 인식하고 위험 상황에서 안전하게 복구하며, 배포 경험을 통해 진단·개선할 수 있는 시스템을 구축해야 합니다.

"빠르게 그리고 천천히 생각하기"로 의미적 이상 현상 해결하기

전통적인 분포 외(OOD) 탐지는 주로 물리적 안전—예를 들어 장애물 회피나 시각적 새로움—에 초점을 맞춥니다. 그러나 실제 세계에서 많은 실패는 "의미적 이상 현상"입니다. 즉, 평범한 물체가 비정상적인 맥락에 놓여 시스템 수준의 혼란을 일으키는 상황을 말합니다. 예를 들어, 자율주행 차가 정지 표지판이 그려진 티셔츠를 입은 사람 앞에서 멈추거나, 로봇이 서랍 대신 오븐에 플라스틱 식기를 넣는 경우가 있습니다.

이러한 이상 현상을 완화하기 위해, 대형 언어 모델(LLM)의 상식적 추론을 활용하면서도 민첩한 로봇에 필요한 반응성을 유지하는 2단계 의사결정 프레임워크를 제안합니다.

2단계 추론 파이프라인

• 빠른 추론기(Anomaly Detection): 자동 회귀 토큰 생성의 지연을 피하기 위해 시스템은 임베딩 기반 유사도 쿼리를 사용합니다. 로봇의 이전 경험에서 얻은 의미 임베딩 벡터 데이터베이스를 유지합니다. 실행 시 현재 관측을 임베딩으로 변환하고, 데이터베이스와 크게 차이가 나면 이상 현상으로 표시합니다. 작은 모델(e.g., MPNet 또는 BERT, 약 1억 파라미터)로도 NVIDIA Jetson에서 40Hz까지 높은 정확도로 수행할 수 있습니다.
• 느린 추론기(Safety Intervention): 이상 현상이 감지되면, 시스템은 더 큰 LLM에 상황의 안전 중요성을 추론하고 적절한 개입을 결정하도록 요청합니다. 이 "사고의 사슬" 추론은 계산 비용이 많이 들지만, 하위 결과를 평가하는 데 필수적입니다.

제어 및 계획과의 통합

LLM 추론 지연 동안 안전을 보장하기 위해, 시스템은 모델 예측 제어기(MPC)를 사용해 "복구 집합"(상태 공간의 제어 불변 부분) 트리를 유지합니다. 이러한 복구 집합—예를 들어 유지 구역에서 호버링하거나 필드에 착륙하기—은 LLM에 다중 선택 옵션으로 제공됩니다. MPC는 LLM 응답 시간의 상한을 고려해 대체 궤적이 겹치도록 보장함으로써, 선택된 개입이 결정이 반환된 후에도 동적으로 실행 가능하도록 합니다.

데이터 귀속을 통한 체계적 정책 개선

로봇공학이 단일한 엔드‑투‑엔드 AI 모델로 이동함에 따라, 명시적인 제어 로직이 없어 디버깅이 어려워집니다. 실패는 종종 훈련 데이터에서 비롯됩니다—예를 들어 인간 시연자의 기술 수준 혼합, 취약한 전략, 혹은 스푸리어스 상관관계(예: 로봇이 특정 배경을 특정 행동과 연관짓는 경우).

Cupid 알고리즘과 영향 함수

이러한 "블랙 박스" 모델을 체계적으로 개선하기 위해 Cupid라는 데이터 중심 접근법을 사용해 훈련 데이터와 배포 성능을 인과적으로 연결합니다. 이는 영향 함수 이론을 통해 특정 훈련 샘플의 포함·제외가 정책 성능에 미치는 1차 민감도를 계산함으로써 이루어집니다.

로봇공학은 순차적 의사결정과 알 수 없는 환경 역학을 포함하므로, 개별 예측에만 귀속되는 표준 ML 영향 함수는 충분하지 않습니다. 제안된 방법은 정책 그래디언트 트릭을 적용해 성능 영향도를 정책의 행동 로그 가능도에 대한 훈련 데이터 영향의 합으로 분해 가능한 형태로 전환합니다.

데이터 플라이휠 효과

각 훈련 샘플의 성능 영향을 추정함으로써 개발자는 "데이터 플라이휠"을 만들 수 있습니다:

1. 훈련: 행동 클로닝을 통해 정책을 학습합니다.
2. 평가: 폐쇄 루프 롤아웃으로 정책을 평가합니다.
3. 정제: 성공률에 긍정적인 영향을 주는 고품질 샘플을 추가하고, 저품질 샘플을 제거합니다.

실험 결과, 이 과정은 정책의 성공률을 40%에서 90%로 향상시켰으며, 훈련 샘플을 2/3 감소시켰습니다. 이는 인간이 설계한 휴리스틱(예: 궤적 노이즈 측정)으로는 놓치기 쉬운 스푸리어스 상관관계를 효과적으로 제거한 것입니다.

핵심 요약

• 완벽한 모델보다 런타임 모니터: 절대 실패하지 않는 모델을 만들기보다, 이상 현상을 감지하고 안전 개입을 수행하는 런타임 모니터를 구현하는 것이 실용적입니다.
• 의미적 안전 vs. 물리적 안전: 의미적 이상 현상은 단순 시각적 새로움 탐지가 아니라 상식적 추론(LLM)이 필요합니다.
• 데이터 중심 디버깅: 엔드‑투‑엔드 정책의 성능은 훈련 데이터의 품질과 구성에 의해 좌우됩니다. 영향 함수와 같은 도구는 성능을 저해하는 "나쁜" 데이터를 자동으로 인과적으로 식별할 수 있게 해줍니다.

SUMMARY: Rohan Sinha는 빠른 런타임 모니터를 통한 의미적 이상 탐지와 데이터 중심 ‘플라이휠’ 접근법을 결합해 체계적인 정책 개선을 수행함으로써 신뢰할 수 있는 로봇 시스템을 구축하는 방법을 설명합니다.

TITLE: 신뢰할 수 있는 자율성으로의 길: 가드레일과 데이터 플라이휠