텐센트 워크버디, 화면 읽고 클릭·입력하는 기능 베타 공개
텐센트 워크버디가 macOS와 Windows에서 화면을 인식해 클릭·입력·스크롤을 수행하는 기능을 공개 베타로 내놨다. 데스크톱 클라이언트 5.11.0 이상과 운영체제 권한 승인이 필요하다.
20일 텐센트(Tencent·0700.HK)의 업무용 AI 에이전트 워크버디(WorkBuddy)가 화면을 인식해 클릭·입력·스크롤을 수행하는 컴퓨터 조작 기능을 공개 베타로 출시했다. 목표 소프트웨어가 별도 API를 제공하지 않아도 화면을 읽고 직접 조작하는 방식이다.
마스비트(MarsBit)는 워크버디가 macOS와 Windows를 지원하며 데스크톱 클라이언트를 5.11.0 이상으로 업데이트한 뒤 기능을 켜고 관련 권한을 승인해야 한다고 전했다. 화면 인식 결과는 소프트웨어마다 달라질 수 있다. (마스비트)
◇ 화면을 읽고 기존 앱 조작
컴퓨터 조작 기능은 현재 화면을 분석하고 대상 창의 위치를 파악한 뒤 마우스 클릭, 텍스트 입력, 스크롤을 이어간다. 별도 연결 설정 없이 여러 애플리케이션을 오가며 화면 기반 작업을 수행할 수 있다.
IT시대망은 10일 베타 화면을 소개하면서 워크버디가 스크린샷으로 화면을 이해하고 사람의 ‘보기’와 ‘누르기’를 흉내 내는 GUI 에이전트라고 설명했다. 사용 중 화면을 캡처하거나 창 내용을 읽을 수 있고, 사용자는 언제든 기능을 중단할 수 있다는 안내도 표시됐다. (IT시대망)
◇ 파일 작업에서 화면 작업으로 확대
워크버디 공식 제품 안내는 이 서비스를 자연어 명령으로 파일을 처리하고 문서·표·프레젠테이션을 만들며 데이터를 분석하는 데스크톱 AI 작업대로 소개한다. 사용자가 단계별 조작을 지시하지 않아도 여러 작업을 계획하고 실행하는 구조다. (WorkBuddy 공식 제품 안내)
이번 컴퓨터 조작 기능은 기존 앱의 버튼과 입력창을 직접 다루는 능력을 더한다. 사용자가 특정 프로그램의 API를 별도로 연결하지 않아도 문서·메신저·업무용 프로그램처럼 인터페이스가 다른 도구를 한 흐름에서 다룰 수 있다.
휴대폰에서 컴퓨터 화면을 보며 명령하는 원격 제어와는 역할이 다르다. 원격 제어는 사용자가 휴대폰으로 화면을 확인하고 조작하는 방식이고, 컴퓨터 조작은 워크버디가 사용자의 지시에 따라 컴퓨터 화면에서 작업하는 방식이다. IT之家는 10월 28일 워크버디의 원격 제어 기능이 휴대폰에서 컴퓨터 화면을 확인하고 조작하도록 했다고 보도했다. (IT之家)
텐센트는 앞서 대형언어모델 Hy4 정식판에도 시각 이해와 컴퓨터 조작 기능을 적용했다.
◇ 권한 승인과 기업 통제
컴퓨터 조작 기능을 사용하려면 화면 캡처와 접근성 권한 등 운영체제 권한을 승인해야 한다. 권한이 없으면 화면을 읽거나 마우스·키보드 입력을 대신하는 작업을 수행할 수 없다.
텐센트 클라우드(Tencent Cloud)의 기업용 문서는 관리자가 컴퓨터 조작 기능을 전체 허용하거나 특정 구성원·부서에만 허용하고, 필요하면 전체 차단할 수 있다고 설명한다. 기본 정책은 모든 구성원에 대한 차단으로 설정됐다. (텐센트 클라우드 공식 문서)
워크버디 공식 버전 기록에는 11월 15일 기준 5.11.3 버전까지 macOS와 Windows용 설치 파일이 등록돼 있다. 실제 작업 범위는 지원 운영체제와 권한 승인 여부, 사용 중인 소프트웨어의 화면 인식 수준에 따라 달라진다.

정민석 기자 




Comment 0
불러오는 중…