OpenAI, Be My Eyes를 위한 GPT‑4 기반 가상 자원봉사자 발표

TL;DR

OpenAI는 GPT‑4의 시각 입력 기능을 Be My Eyes 앱에 통합하여 이미지에 대해 설명하고 분석하며 대화할 수 있는 “가상 자원봉사자”를 출시했으며, 시각 장애인 및 저시력 사용자에게 실시간으로 풍부한 맥락의 지원을 제공합니다.

What was announced

OpenAI는 덴마크 스타트업 Be My Eyes가 모바일 앱에 GPT‑4(연구 미리보기)를 내장하여 Virtual Volunteer™를 구동한다는 사실을 발표했습니다. 이 어시스턴트는 사용자가 제출한 사진을 처리하고, 상세한 설명을 생성하며, 후속 질문에 답하고, 레시피 제안이나 내비게이션 안내와 같은 실용적인 조언을 제공할 수 있습니다.

Why it matters

Virtual Volunteer는 기존 이미지‑텍스트 도구를 뛰어넘는 시각 해석 및 대화형 대화 수준을 제공하여 전 세계 약 2억 5천만 명의 시각 장애인 및 저시력 사용자에게 더 큰 독립성을 약속합니다.

Technical foundation

  • GPT‑4 시각 입력: 모델은 텍스트 외에 이미지 데이터를 받아들여 다중모달 추론을 가능하게 합니다.
  • 대화형 컨텍스트: 정적 객체 인식 API와 달리 GPT‑4는 앞뒤 대화를 유지하며 사용자 프롬프트에 따라 답변을 정교화할 수 있습니다.
  • 분석 능력: 시스템은 객체를 단순히 명명하는 것을 넘어 관계를 추론하고, 안전 위험을 평가하며, 다음 단계(예: “이 면이 레시피에 적합한가요?”)를 제안할 수 있습니다.

Core capabilities

Image description and analysis

어시스턴트는 객체를 식별하고 이미지 내 텍스트를 읽으며 미묘한 설명을 제공할 수 있습니다. 예를 들어, 냉장고 사진을 통해 항목 목록, 가능한 레시피 및 영양 정보를 얻을 수 있습니다.

Real‑time navigation assistance

사용자는 철도역을 통과하는 단계별 안내를 지도 위치 지정 및 안전 경고와 함께 받을 수 있었으며, 이는 모델이 복잡한 공간 정보를 해석할 수 있음을 보여줍니다.

Web‑page comprehension

GPT‑4는 전체 웹페이지를 보여준 뒤 가장 관련성 높은 섹션을 요약하고, 잡동사니를 걸러내며, 간결한 답변을 제시할 수 있어 사용자가 뉴스 사이트, 전자상거래 페이지 및 기타 시각적으로 복잡한 콘텐츠를 탐색하는 데 도움을 줍니다.

Early testing and feedback

  • 베타 출시: 2023년 2월 초, Be My Eyes는 소규모 직원 그룹을 대상으로 내부 베타 테스트를 시작했습니다.
  • 긍정적인 반응: CEO Michael Buckley는 기존 이미지‑텍스트 도구와 비교해 성능을 “비할 데 없이 뛰어나다”고 평가했습니다. 접근성 옹호자 Lucy Edwards를 포함한 베타 참가자들은 새로운 기능에 대한 열의를 표했습니다.

“GPT‑4와 다른 언어 및 머신러닝 모델의 차이점은 대화 능력과 기술이 제공하는 더 높은 수준의 분석 능력에 있습니다.” – Jesper Hvirring Henriksen, CTO, Be My Eyes

Implications for accessibility

  • 독립성 향상: 사용자는 인간 자원봉사자를 기다리지 않고 즉시 상세한 시각 정보를 얻을 수 있어 혼자 수행할 수 있는 작업 범위가 확대됩니다.
  • 적용 범위 확대: 일상적인 물체를 넘어 이 기술은 화면 읽기, 제품 안전 평가, 복잡한 전자상거래 사이트에서의 구매 결정 등에 도움을 줄 수 있습니다.
  • 상업적 잠재력: Buckley는 사회적 혜택과 AI 기반 접근성 솔루션에 대한 큰 시장 기회의 이중 효과를 강조했습니다.

Next steps

OpenAI와 Be My Eyes는 베타 테스트 후 몇 주 안에 Virtual Volunteer를 더 넓은 Be My Eyes 사용자 기반에 배포할 계획이며, 이후 사용자 피드백과 추가 안전 평가를 기반으로 지속적인 개선을 진행할 예정입니다.

이 게시물은 2023년 3월 14일자 공식 OpenAI 발표를 요약한 것입니다. 모든 진술은 원본 자료에서 직접 인용되었습니다.

Sources