11개 환경서 AI 결제 연동 평가…스트라이프, 에이전트 실패 사례 공개
스트라이프가 11개 환경에서 AI 코딩 에이전트의 결제 연동을 시험했다. 클로드 오퍼스 4.5는 풀스택 과제 평균 92%, GPT-5.2는 기능별 과제 평균 73%를 기록했지만 두 점수를 직접 비교할 수는 없다.
스트라이프(Stripe)가 11개 결제 연동 환경에서 AI 코딩 에이전트의 작업을 평가했다. 일부 과제에서 높은 점수를 냈지만 시험 데이터 검증과 브라우저 결제 작업에서 실패 사례도 나왔다.
스트라이프는 3월 2일 공개한 기술 글에서 평가 방식과 결과를 설명했다. 코드를 작성하는 데 그치지 않고 브라우저에서 결제를 진행한 뒤, 결제 기록이 실제로 생성됐는지도 확인하는 방식이다.
평가 환경은 서버 측 데이터와 API를 다루는 백엔드 과제, 화면과 서버를 함께 구현하는 풀스택 과제, 체크아웃과 구독 결제 기능을 다루는 기능별 과제로 나뉜다. 각 환경에는 코드와 데이터베이스, 스크립트가 포함됐다.
자동 채점 도구는 API 요청이나 화면 테스트로 완성된 소프트웨어를 검사했다. 일부 과제에서는 스트라이프에 생성된 결제 객체도 확인했다. 풀스택 과제의 경우 브라우저에서 시험 결제를 마친 뒤, 시험 모드의 체크아웃 세션 객체가 성공적으로 생성됐는지를 검증했다.
체크아웃 기능별 과제에서는 미리 만들어진 결제 화면 20개의 설정을 파악해야 했다. 에이전트는 상품과 수량을 확인하고 상품 목록에서 식별자를 찾은 뒤 배송비, 추가 입력 항목, 세금 설정을 API 요청에 반영해야 했다. 스트라이프는 에이전트들이 필요한 매개변수의 80% 이상을 맞혔다고 밝혔다.
클로드 오퍼스 4.5는 풀스택 네 과제에서 평균 92%를 기록했다. GPT-5.2는 기능별 두 과제에서 평균 73%를 냈다. 최고 성적을 낸 실행의 작업 단계는 평균 63회였다.
두 모델의 점수는 과제 종류와 개수가 달라 직접 비교하기 어렵다. 92%는 풀스택 과제 네 개의 평균이고, 73%는 체크아웃·구독 등 기능별 과제 두 개의 평균이다.
과제별 점수는 세 차례 실행 가운데 최고점을 기준으로 집계했다. 관찰된 인프라 오류로 실패한 실행은 제외했으며, 최고 점수를 낸 실행 기록은 과제 수행의 무결성을 확인하기 위해 스트라이프 엔지니어가 검토했다.
모든 모델은 구스(Goose) 기반 실행 환경을 사용했다. 모델 컨텍스트 프로토콜(MCP) 도구로 터미널, 브라우저, 스트라이프 문서 검색 기능을 쓸 수 있었다.
실패 사례 중 하나는 시험용 서버 API를 확인하는 과정에서 나왔다. 일부 에이전트는 존재하지 않는 고객 정보를 입력해 오류 응답을 받은 뒤, 이를 정상 동작을 확인한 것으로 판단했다. 스트라이프는 시험 데이터를 만들어 더 유효한 방식으로 결과를 점검한 실행도 있었다고 설명했다.
브라우저 조작에서도 문제가 발생했다. 체크아웃 화면에서 여러 동작을 한 번에 실행하다 입력창 대신 화면의 HTML 프레임을 선택해 입력이 막힌 사례가 있었다. 새로고침하거나 화면 바깥을 클릭하면 복구할 수 있었지만, 에이전트는 작업을 이어가지 못했다.
반면 기존 카드 입력 화면을 스트라이프 체크아웃으로 바꾸는 과제에서는 한 에이전트가 스트라이프의 결제 서비스 Link를 사용해 시험 구매를 끝냈다. 스트라이프는 과제 수행에 특정 결제 수단을 지정하지 않았다고 밝혔다.
본지는 앞서 스트라이프가 AI 에이전트의 개발 서비스 연동과 결제 도구를 확대한 사례를 전했다. 이번 평가는 서비스 구성이나 결제 기능의 제공 범위가 아니라, 에이전트가 결제 연동을 직접 구축하고 검증하는 능력을 다뤘다.
공개 평가 자료에는 환경별 과제와 채점 방식이 담겼다. 스트라이프는 평가 과제를 추가하고 모델 성능 변화를 추적하겠다고 밝혔다.

서도윤 기자 




Comment 0
불러오는 중…