Google DeepMind AI 지원 포인터

Google DeepMind는 Gemini 기반 AI 지원 포인터를 개발하고 있으며, 전통적인 마우스 커서를 상황 인식 도구로 변환합니다. 이 시스템을 통해 사용자는 간단한 포인팅과 음성 명령만으로 모든 애플리케이션에서 AI와 상호작용할 수 있어, 데이터를 별도의 AI 창으로 옮기거나 상세한 텍스트 프롬프트를 작성할 필요가 없습니다.

핵심 상호작용 원칙

Google DeepMind는 사용자가 컨텍스트 제공 부담을 컴퓨터에게 넘겨 보다 자연스러운 인간‑AI 협업을 가능하게 하는 네 가지 원칙을 수립했습니다.

흐름 유지

AI 기능은 모든 애플리케이션에서 작동하도록 설계되어 "AI 우회"를 방지합니다. AI 지원 포인터를 사용하면 현재 작업 흐름 내에서 다음과 같은 작업을 수행할 수 있습니다:

• PDF의 핵심 요점을 요약해 이메일에 붙여넣기 요청하기.
• 데이터를 가리키면 통계 표를 파이 차트로 변환하기.
• 강조된 레시피의 재료 양을 두 배로 늘리기.

보여주고 설명하기

정확하고 상세한 프롬프트가 필요 없도록, AI 지원 포인터는 커서 주변의 시각적·의미적 컨텍스트를 캡처합니다. 이를 통해 시스템은 사용자가 별도 설명 없이도 특정 단어, 문단, 코드 블록, 이미지 영역을 자동으로 식별할 수 있습니다.

"This"와 "That"의 힘 수용하기

포인팅 제스처와 음성을 결합해 "Fix this" 혹은 "Move that here"와 같은 자연스러운 축약어를 사용할 수 있습니다. 공유된 시각적 컨텍스트에 의존함으로써, AI는 텍스트 기반 프롬프트에서 길게 설명해야 할 모호한 대명사를 해결합니다.

픽셀을 실행 가능한 엔터티로 전환

단순히 좌표를 추적하는 것이 아니라, AI는 포인터 아래 객체의 정체성을 이해합니다. 이는 정적인 픽셀을 구조화된 인터랙티브 엔터티로 변환합니다, 예를 들어:

• 손글씨 메모 사진을 인터랙티브 할 일 목록으로 변환하기.
• 여행 영상의 일시 정지 프레임을 해당 레스토랑의 직접 예약 링크로 전환하기.

제품 통합 및 제공

Google은 이러한 AI 포인터 원칙을 여러 기존 및 향후 제품에 통합하고 있습니다:

• Chrome: 사용자는 이제 Chrome에서 포인터를 사용해 웹 페이지의 특정 부분에 대해 Gemini에게 질문할 수 있습니다. 예를 들어, 선택한 제품을 비교하거나 방 안에 가구를 시각화하는 것이 가능합니다.
• Googlebook: "Magic Pointer" 기능이 Googlebook 노트북 경험에 도입되어 직관적인 Gemini 통합을 제공합니다.
• Google AI Studio: 실험적인 데모가 제공되어 이미지 편집이나 지도상의 위치 찾기와 같은 작업에 AI 지원 포인터를 테스트할 수 있습니다.
• Google Labs: 향후 개념은 Google Labs의 Disco를 통해 계속 테스트될 예정입니다.