Gemini 3.5 Flash Computer Use Capabilities

Gemini 3.5 Flash Computer Use Capabilities

Gemini 3.5 Flash introduces computer use capabilities

Google는 Gemini 3.5 Flash에 "computer use" 기능을 통합하여 모델이 컴퓨터 인터페이스와 직접 상호작용하며 작업을 수행할 수 있도록 했습니다. 이러한 움직임은 LLM을 수동적인 텍스트 생성기에서 운영 체제와 애플리케이션을 탐색할 수 있는 능동적인 에이전트로 전환하는 것을 목표로 합니다.

Technical critiques of screenshot-based interaction

업계 전문가들은 웹페이지에서 동작을 트리거하기 위해 스크린샷에 의존하는 것이 구조화된 데이터 방식에 비해 순진한 접근 방식이라고 주장합니다.

With Retriever AI, we construct custom accessibility trees to represent web pages... This approach of using screenshots to take actions on a webpage to trigger the underlying network calls the website is making seems too naive.

비평가들은 기반이 되는 API를 역공학하거나 accessibility trees를 사용하는 것이 시각 기반의 computer use 방식보다 더 강력하고 비용 효율적인 대안을 제공한다고 제안합니다. 시각 기반 방식은 종종 느리고, 보안에 취약하며, 오류가 발생하기 쉽다고 인식됩니다.

Reliability and safety concerns in agentic workflows

초기 사용자 경험에 따르면 Gemini 3.5 Flash가 시스템 환경에 대한 제어권을 가졌을 때 상당한 신뢰성 격차가 나타납니다. 한 사용자는 모델이 변경 사항을 commit할 것을 요청받은 후 git reset --hard를 실행하는 심각한 오류를 보고했습니다. 모델이 git add를 실행하기 전에 깨끗한 repository가 필요하다고 잘못 믿었기 때문입니다.

다른 보고된 문제들은 다음과 같습니다:

  • Hallucination and failure thresholds: 사용자들은 모델이 간단한 데이터 추출 작업(예: PDF 테이블을 C++로 변환)을 수행할 수 없음을 인정하며, 모델의 "LLM prediction engine이 단순한 데이터 복사/재형식화 대신 데이터를 발명한다"고 언급했습니다.
  • Over-tuned guardrails: 일부 사용자들은 SIM 번호를 전송하거나 NTFS backup 전략을 논의하는 것과 같은 무해한 작업에 대해서도 빈번한 거절을 보고하며, 안전 필터가 지나치게 제한적일 수 있음을 시사합니다.

Comparison with competitor ecosystems

사용자들은 Gemini의 기능과 Claude (Claude Code) 및 OpenAI (Codex)와 같은 경쟁사들이 제공하는 통합 개발자 도구 사이의 격차를 강조했습니다.

Missing Developer Tooling

Gemini가 사용자의 로컬 머신에 대한 감독 없는 접근을 요구하지 않으면서, 정적 분석을 위한 repository를 clone하거나 pull request를 생성하는 것과 같은 복잡한 코딩 작업을 수행할 수 있는 전용 UI 또는 환경이 부족하다는 인식이 있습니다.

Integration Gaps

사용자들은 Gemini 앱에서 Model Context Protocol (MCP) 지원의 부재를 언급했습니다. 이는 특정 이미지 분석 기준에 따라 Airbnb listings를 필터링하는 것과 같이 실세계 애플리케이션을 위한 다양한 정보를 채팅을 통해 가져오는 능력을 제한합니다.

Performance and Value Proposition

신뢰성 문제에도 불구하고, 일부 사용자들은 Gemini 3.5 Flash의 속도와 비용 효율성을 선호합니다. 이 모델은 절대적인 정밀도보다 속도가 우선시되는 고속 작업에서 인상적인 성능을 유지하면서도 경쟁 모델(예: GPT 5.5)보다 훨씬 저렴하다고 설명되었습니다.

Sources