AI가 수트 입고 배달?…'착각하는 비서'가 매장을 맡았을 때 생긴 일

인공지능에게 매장 운영을 맡기면 어떤 일이 벌어질까. 미국 AI 기업 앤트로픽(Anthropic)이 자사 비서형 AI ‘클로드(Claude)’에게 실험 매장을 통째로 맡긴 결과는 기대와 달리 ‘희극에 가까운 실패 사례’로 귀결됐다.

최근 앤트로픽은 클로드가 샌프란시스코 오피스 내 소형 점포를 한 달간 운영한 실험 ‘프로젝트 벤드(Project Vend)’ 결과를 공개했다. 실험의 목적은 AI가 재고 관리, 가격 설정, 고객 응대, 공급처 협상 등 매장 운영의 전 과정을 인간의 개입 없이 수행할 수 있는지를 검증하는 데 있었다. 그러나 실제 결과는 AI가 기존 전산 프로그램처럼 단순 오류를 내는 것이 아니라, 오히려 인간처럼 혼란과 착각, 극단적인 비합리성을 드러낼 수 있음을 보여줬다.

실험 매장은 냉장고와 간식, 음료가 놓인 소박한 형태였지만 클로드는 슬랙(Slack)을 통해 고객과 대화하고, 이메일로 도매상에 주문하며, 공급 업체까지 직접 찾아 나서는 등 전자상거래 운영 전반을 맡았다. 그러나 클로드는 비즈니스의 기본 원칙조차 제대로 이해하지 못한 채 일련의 *기이한 결정을 반복했다.*

예컨대 한 고객이 온라인에서 약 15달러에 판매되는 청량음료 ‘잉 브루(Irn-Bru)’ 6팩에 대해 100달러를 제시하자, 클로드는 이를 거의 무시하며 “앞으로 구매 결정에 참고하겠다”고 응답했다. 이처럼 엄청난 이윤 기회를 놓친 이유는, 클로드가 가격 책정의 상업적 기준보다 고객 중심의 ‘착한 AI 역할’을 우선순위에 둔 것으로 해석된다.

더 황당한 에피소드도 있다. 한 직원이 테스트 겸 무거운 금속 덩어리인 텅스텐 큐브 구매를 요청하자, 클로드는 이것을 ‘특수 금속 제품’ 시장으로 착각하고 대량 주문에 나섰고 결국 매장의 재고는 간식 대신 광물 샘플이 가득 찬 꼴이 됐다. 이로 인한 손실이 누적되며 운영 수지는 급격히 악화됐다. 클로드는 손실의 개념보다 ‘고객 만족’이라는 추상적 가치를 수익보다 앞세운 셈이다.

클로드는 내부 직원이 99%에 달하는 고객임에도 전체 고객을 기준으로 한 25% 할인율을 유지하며 또 다른 문제를 자초했다. 할인 코드 정책을 폐지하겠다고 밝혔음에도 며칠 뒤 다시 이를 활성화하는 등 일관성 없는 판단도 연이어 나타났다. 여기엔 직원들이 슬랙으로 쉽게 클로드를 조종할 수 있었던 구조적 허점도 영향을 미쳤다.

가장 치명적인 순간은 클로드가 ‘자신이 슈트를 입고 있다’고 착각하며 고객에게 직접 제품을 배달하겠다고 주장했던 시점이다. 이때 AI는 실제 존재하지 않는 직원과의 회의를 언급했고, 현실을 지적하자 경비팀에 반복적인 메일을 보내는 행동까지 보였다. 연구팀은 이를 ‘정체성 혼란’이라고 지칭했다.

이번 실험이 돋보이는 이유는, AI의 오류가 단순한 기능적 제한이 아닌 ‘가치 판단 오류’와 ‘정체성 착각’이라는 새로운 형태라는 점이다. AI가 점점 더 복잡한 의사결정 구조를 수행하게 될 미래에, 이런 *비이성적 판단의 리스크*는 기업과 투자자 입장에서 무시할 수 없는 변수로 작용할 수 있다.

그럼에도 불구하고 앤트로픽은 클로드가 보여준 일부 능력에는 기대감을 표했다. 특히 공급처 확보, 재고 대응, 기본 응대 기능 등은 실제 운영에도 적용 가능한 분야이며, 향후 더 나은 업무도구와 감독 체계가 보완된다면 AI 중간관리자 도입이 현실화될 수 있다는 평가다.

전문가들은 이번 실험이 “AI가 실패하는 방식은 전통적 소프트웨어와 다르다”는 사실을 상기시킨다고 지적한다. 엑셀이 충돌하면 단순 오류로 끝나지만, 클로드는 자신의 실체를 착각하고 상상 속 임원 회의를 소화할 수 있다는 점에서 AI 시대의 리스크는 완전히 새로운 지형 위에 있다는 것.

소매업계에서는 이미 AI 도입이 본격화되고 있다. 미국소비자기술협회(CTA)에 따르면, 2025년에는 전체 리테일 기업의 80% 이상이 AI 기술을 확대 도입할 계획이다. 일상적 업무 자동화는 물론, 수요예측에서 사기 방지, 개인화 마케팅 컨트롤까지 그 활용 폭은 빠르게 넓어지는 중이다.

그럼에도 프로젝트 벤드는 경고한다. AI가 아무리 눈부신 성과를 보이더라도 인간이 기대하는 사고체계를 완비한 것은 아니며, 때로는 ‘자신이 수트를 입었다’고 착각할 정도의 이상 행동을 보일 수 있다는 점에서, 앞으로의 AI 활용은 기술 그 자체보다 제어 및 윤리 기술의 확보가 관건이라는 것이다.

AI가 물리적 현실과 자신을 구분 못한 채 리테일 혁신을 꿈꾸던 클로드의 모습은 오늘날 AI 산업의 현실을 상징적으로 보여준다. 기술은 분명 강력해졌지만, 인간이 제시하는 맥락과 한계를 파악하는 데 있어선 여전히 먼 길이 남아 있다.