Gemini API Computer Use 정식 출시: 화면을 보고 클릭하는 에이전트를 정식 기능으로
무엇인가요
Computer Use는 모델이 스크린샷을 보고 클릭·스크롤·키 입력 같은 다음 동작을 함수 호출 형태로 돌려주는 도구예요. 실제 동작은 내 코드(예: Playwright)가 실행하고 새 스크린샷을 다시 보내는 식으로 반복해요. 이번에 Interactions API와 GenerateContent API 양쪽에서 정식 출시됐어요. 지원 모델은 gemini-4-argon, gemini-3.8-flash(문서 권장), gemini-3.5-flash-lite 등이에요.
pip install google-genai playwright
playwright install chromium왜 중요한가요
프리뷰 딱지가 떨어져서 웹 앱 자동 테스트, 반복 입력, 사이트 조사 같은 브라우저 자동화를 실제 서비스에 넣기가 한결 수월해졌어요. 브라우저뿐 아니라 모바일·데스크톱 환경도 지원하고 동작마다 이유(intent)를 붙이고 위험한 동작에는 사용자 확인을 요구하는 safety_decision을 돌려줘요. 스크린샷 속 숨은 지시를 잡는 프롬프트 인젝션 탐지도 켤 수 있어요.
완성도
GA 정식출시 노트에 GA로 적혀 있어요. 문서는 여전히 샌드박스 VM·컨테이너에서 돌리고 중요한 작업은 사람이 지켜보라고 권해요.
앞으로 이렇게 지켜보세요
- 요금: Gemini API 가격 페이지에서 Computer Use 과금이 일반 토큰과 같은지 확인하세요.
- Vertex AI: Google Cloud Vertex AI 문서에도 같은 날 GA가 반영되는지 보세요.
- 참조 구현: google-gemini의 Computer Use 참조 구현 저장소 릴리스로 Docker 샌드박스 예제 변화를 지켜보세요.