Gemini Robotics-ER 1.6 릴리스 노트 / 새로운 내용

Gemini Robotics-ER 1.6 릴리스 노트 / 새로운 내용

고수준 추론 및 통합

Gemini Robotics-ER 1.6은 로봇을 위한 고수준 추론 엔진으로 작동합니다. 다양한 도구를 네이티브하게 호출하여 복잡한 작업을 수행할 수 있으며, 포함되는 도구는 다음과 같습니다:

  • Google Search: 외부 정보를 검색하기 위해.
  • Vision-Language-Action (VLA) models: 추론을 물리적 움직임으로 변환하기 위해.
  • Third-party user-defined functions: 맞춤형 로봇 통합을 위해.

이 모델은 Gemini Robotics-ER 1.5 및 Gemini 3.0 Flash에 비해 성능이 크게 향상되었으며, 특히 포인팅, 카운팅 및 성공 감지에서 두드러집니다.

포인팅을 통한 공간 추론

포인팅은 공간 추론의 기본 기능으로 사용되며, 모델이 여러 중요한 로봇 기능을 수행할 수 있게 합니다:

  • Precision Object Detection and Counting: 장면 내 특정 항목을 식별하고 카운트합니다.
  • Relational Logic: "from-to" 관계(예: 물체를 특정 위치로 이동) 정의 및 비교 수행, 예를 들어 집합에서 가장 작은 항목 식별.
  • Motion Reasoning: 궤적을 매핑하고 최적의 잡기 지점을 식별합니다.
  • Constraint Compliance: "파란 컵 안에 들어갈 만큼 작은 모든 객체를 가리키세요"와 같은 프롬프트를 통해 추론합니다.

Gemini Robotics-ER 1.6은 포인트를 중간 단계로 사용하여 수학 연산을 수행하고, 보다 정확한 메트릭 추정 및 항목 카운트를 가능하게 합니다. 비교 테스트에서 이 모델은 Gemini Robotics-ER 1.5보다 도구의 정확한 수를 식별하고 이미지에 존재하지 않는 항목의 환상을 피하는 데 우수한 성능을 보였습니다.

자율 성공 감지

성공 감지는 로봇이 작업이 완료되었는지 판단하게 하여, 실패한 시도를 재시도할지 혹은 계획의 다음 단계로 넘어갈지를 결정하게 합니다. Gemini Robotics-ER 1.6은 다중 시점 추론을 개선했으며, 이는 여러 카메라 스트림(예: 상단 피드와 손목 부착 피드 결합)에서 정보를 종합하여 가려짐 및 조명 부족 상황을 처리하고 환경에 대한 일관된 이해를 형성하는 데 필수적입니다.

에이전시 비전을 통한 계측기 판독

Boston Dynamics와 협업하여 개발된 Gemini Robotics-ER 1.6은 원형 압력 게이지, 수직 레벨 표시기, 디지털 표시기와 같은 복잡한 산업용 계측기를 읽는 기능을 도입했습니다. 이는 Spot과 같은 시설 검사 로봇에 특히 유용합니다.

높은 정확도를 달성하기 위해 모델은 "에이전시 비전"을 활용하며, 이는 시각적 추론과 코드 실행을 다단계 프로세스로 결합합니다:

  1. Zooming: 모델은 이미지에 확대하여 게이지의 작은 세부 사항을 포착합니다.
  2. Estimation: 포인팅과 코드 실행을 사용해 비율과 구간을 추정합니다.
  3. Interpretation: 세계 지식을 적용해 최종 판독값을 해석하며, 단위와 소수점도 포함합니다.

"계측기 판독 및 보다 신뢰할 수 있는 작업 추론과 같은 기능은 Spot이 실제 세계의 도전을 완전히 자율적으로 보고, 이해하고, 대응할 수 있게 할 것입니다."

— Marco da Silva, Boston Dynamics Spot 부사장 겸 총괄 매니저

안전 및 제약 준수

Gemini Robotics-ER 1.6은 Google DeepMind가 현재까지 만든 가장 안전한 로봇 모델로 설명되며, 적대적 공간 추론 작업에 대한 Gemini 안전 정책 준수가 향상되었습니다.

주요 안전 개선 사항은 다음과 같습니다:

  • Physical Safety Constraints: "액체를 다루지 말라" 또는 "무게가 20kg 초과인 물체를 집어 들지 말라"와 같은 제약을 더 잘 준수합니다.
  • Hazard Identification: 실제 부상 보고서(Asimov 벤치마크)를 기반으로 한 테스트에서, 모델은 텍스트 시나리오에서 6%, 비디오 시나리오에서 10% 향상된 부상 위험 인식 정확도를 보여 Gemini 3.0 Flash보다 개선되었습니다.

사용 가능 여부

Gemini Robotics-ER 1.6은 Gemini API와 Google AI Studio를 통해 개발자에게 제공됩니다. Google은 또한 모델을 구현 추론 작업에 구성하기 위한 예제가 포함된 개발자용 Colab 노트북을 제공했습니다.

Sources