[늦게 확인] Vercel agent-desktop 1.0: 접근성 트리로 데스크톱 앱을 읽고 조작하는 에이전트용 CLI
무엇인가요
agent-desktop은 AI 에이전트가 macOS·Windows·Linux 데스크톱 앱을 운영체제 접근성 트리(화면 요소를 구조로 알려 주는 OS 기능)로 읽고 조작하게 해 주는 CLI이자 C 라이브러리예요. 스냅샷을 찍으면 눌러 볼 수 있는 요소마다 ref가 붙은 JSON이 나오고 에이전트는 그 ref로 클릭한 뒤 다시 스냅샷을 찍어 결과를 확인해요. 픽셀 이미지를 맞춰 보는 방식이 아니에요.
npm install -g agent-desktop
agent-desktop snapshot --app Finder -i왜 중요한가요
스크린샷을 보고 좌표를 찍는 컴퓨터 사용 방식보다 가볍고 결과가 JSON이라 Claude Code·Codex 같은 코딩 에이전트에 도구로 붙이기 쉬워요. 반복 루프는 내 에이전트 안에 그대로 남아서 특정 모델에 묶이지 않아요. 스냅샷과 클립보드에 개인 화면 내용이 담길 수 있으니 로그에 남기지 말라는 안내는 꼭 지켜야 해요.
완성도
GA 정식1.0으로 정식 버전이 나왔고 그 뒤로 1.0.2까지 패치가 이어졌어요. Homebrew·Scoop 공식 패키지는 아직 심사 중이에요.
앞으로 이렇게 지켜보세요
- 패키지: Homebrew·Scoop 공식 카탈로그에 올라오는지 GitHub 릴리스와 README에서 보세요.
- 연동: 코딩 에이전트용 스킬·플러그인 형태 연동이 저장소에 추가되는지 지켜보세요.