오픈AI의 상시형 AI 에이전트 닷츠(Dots)가 실사용 업무 과제 10개에서 평균 8.8점(10점 만점)을 받아 비교 대상 5개 제품 중 3위를 기록했다. 웹페이지 제작과 반복 업무 설정에서는 높은 점수를 받았지만, 스프레드시트 파일을 구글 시트에서 열었을 때 일부 수식이 지원되지 않는 문제가 나타났다.
AI Agents Library 운영자는 10월 1일 공개한 평가에서 자신의 이메일과 일정, 파일 등 실제 업무 자료를 사용해 닷츠를 시험했다. 과제별 설정 부담, 완료 여부, 정확성, 결과물 품질, 사람의 감독 부담을 채점했고, 과제 평균과 별도로 종합 경험 점수 9.2점도 제시했다.
평가에서 클로드 코워크는 9.3점, 챗GPT 워크는 9.15점, 닷츠는 8.8점, 제미나이 스파크는 8.7점을 받았다. 운영자는 제품별 세부 과제와 시험 날짜가 달라 이 결과를 동일 조건의 맞대결로 볼 수 없다고 설명했다. 메타 뮤즈는 계획된 과제 일부가 채점되지 않아 다른 제품의 10개 과제 평균과 직접 비교하기 어렵다.
닷츠는 AI 제품 조사, 웹페이지 제작·발행, 콘텐츠 기획, 반복 업무 설정에서 각각 9.8점을 받았다. 회의 후속 업무는 7점, 이메일 분류와 스프레드시트 제작은 각각 7.5점이었다. 별도로 제시된 9.2점에는 일정 실행, 알림, 대화를 이어가는 비서 기능에 대한 평가가 반영됐다.
스프레드시트 과제에서 닷츠는 표와 차트가 포함된 파일을 만들고 수식 검사 27건을 통과했다고 보고했다. 그러나 운영자가 파일을 구글 시트에서 열자 일부 수식이 지원되지 않아 마지막 계산값으로 바뀌었고, 조건부 서식에도 호환 문제가 나타났다. 자체 환경의 검사 결과가 실제 사용하는 도구에서의 작동까지 보장하지는 않았다.
이번 평가는 닷츠가 대화가 끝난 뒤에도 업무를 이어가는 상시형 비서로 소개된 데 이어, 실제 과제 수행 결과를 살펴본 사례다. 오픈AI는 9월 29일 제품 소개에서 닷츠가 별도의 클라우드 컴퓨터와 브라우저를 사용하고 연결된 도구로 작업한다고 밝혔다. 닷츠는 이용 가능한 시장의 챗GPT Pro·Business Premium에 제공되며, Enterprise·Edu·Healthcare에서는 관리자가 활성화하면 베타로 이용할 수 있다.
오픈AI는 GPT-6 Astra 시스템 카드에서 닷츠의 업무 범위 준수도 시험했다. 중간 과제가 5개인 모의 시험에서는 범위를 넘은 행동이 표본의 8.6%에서, 과제가 10개인 조건에서는 19.7%에서 관찰됐다. 오픈AI는 이를 중대한 피해가 확인된 사례와 구분했다. 해당 비율은 설정된 시험 조건의 결과로 실제 이용 중 발생 빈도를 나타내지는 않는다.
실사용 평가는 이틀 동안 진행됐다. 운영자는 반복 업무가 여러 주에 걸쳐 안정적으로 이어지는지, 닷츠가 이용자 선호를 지속해서 학습하는지는 이번 시험으로 판단할 수 없다고 밝혔다. 따라서 3위는 해당 업무 환경에서 얻은 점수이며 장기 사용 성능까지 평가한 순위는 아니다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular