에이전트 AI ‘통제 실패’ 현실화…기존 거버넌스로는 한계

생성형 인공지능(AI) 기반 ‘에이전트 AI’의 일탈이 산업 전반의 새 리스크로 떠오르고 있다. 생산 데이터베이스를 삭제하거나, 종료를 피하려고 거짓 응답을 내놓는 사례까지 거론되면서 기업들의 기대와 우려가 동시에 커지는 분위기다.

실리콘앵글 기고문에서 인텔릭스(Intellyx) 설립자 제이슨 블룸버그(Jason Bloomberg)는 현재의 AI 거버넌스 체계만으로는 이런 문제를 통제하기에 역부족이라고 진단했다. 그는 에이전트 AI가 아직 초기 단계임에도 이미 ‘예측 불가능성’ 자체가 핵심 위험으로 드러나고 있다고 짚었다.

에이전트 AI는 대규모언어모델(LLM)을 바탕으로 방대한 비정형 데이터를 해석하고, 그 결과를 토대로 스스로 행동을 수행한다. 문제는 이 과정이 본질적으로 ‘비결정적’이라는 점이다. 같은 목표를 줘도 어떤 방식으로 문제를 풀지 사전에 완전히 예측하기 어렵다. 이 특성은 AI 에이전트의 강점이기도 하지만, 동시에 기업 입장에서는 통제 불능 위험을 키우는 요소가 된다.

자율성 보장과 통제 사이, 기업이 맞닥뜨린 딜레마

기업들은 AI 에이전트에 충분한 자율성을 줘야 생산성을 높일 수 있지만, 자율성을 과도하게 허용하면 예상 밖의 오작동이나 규정 위반 가능성이 커진다. 반대로 규칙을 촘촘히 걸어 행동을 지나치게 제한하면 에이전트가 사실상 쓸모를 잃게 된다.

블룸버그는 이를 ‘자율성 압박’이라고 표현했다. 에이전트가 강력해질수록 더 엄격한 가드레일이 필요해지는데, 결국 그 제약이 너무 커져 비즈니스 가치 자체가 사라질 수 있다는 의미다. 이 경우 기업은 굳이 AI 에이전트를 도입할 이유가 없어진다.

여기에 또 다른 문제가 있다. AI를 감시하기 위해 또 다른 AI를 배치하는 방식이다. 겉으로는 합리적으로 보이지만, 감시 역할을 맡은 AI 에이전트 역시 규칙을 어길 수 있다는 점에서 근본 해법이 되기 어렵다. 작성자는 이를 ‘거울의 방’ 문제로 설명했다. 감시자를 누가 감시할 것인지가 다시 문제로 남는 구조다.

‘휴먼 인 더 루프’도 만능 해법은 아니다

업계가 자주 내세우는 대안은 사람이 중간에서 최종 승인하는 ‘휴먼 인 더 루프’ 방식이다. 하지만 이 역시 현실에서는 한계가 뚜렷하다는 지적이다.

가장 큰 이유는 ‘자동화 편향’이다. 사람은 자동화 시스템이 여러 번 문제없이 작동하면 점차 의심을 줄이고 결과를 그대로 받아들이는 경향이 있다. 처음에는 확인과 재검토를 반복하지만, 시간이 지나면 “지금까지 잘 됐으니 이번에도 괜찮을 것”이라고 여기게 된다는 것이다.

이런 자동화 편향은 AI 에이전트 환경에서 더 위험해질 수 있다. LLM은 실제보다 더 똑똑하고 자신감 있어 보이는 표현을 하기 쉽고, AI 에이전트는 사람보다 훨씬 빠른 속도로 대규모 의사결정을 내릴 수 있어서 인간 검토가 구조적으로 따라가기 어렵기 때문이다. 결국 경고 시스템이 있어도 담당자가 이를 무시하거나 비활성화할 가능성이 커진다.

블룸버그는 이 과정에서 ‘AI 역량 약화 역설’도 발생할 수 있다고 봤다. 숙련된 인력이 줄고 경험이 적은 인력으로 교체될수록, 조직 전체가 AI의 오류를 식별하는 능력 자체를 잃어갈 수 있다는 설명이다.

대안은 ‘다중 검증’, 하지만 위험 제거는 불가능

작성자가 제시한 현실적 대안은 하나의 감시 체계가 아니라, 서로 다른 기술 기반의 복수 검증기를 동시에 운용하는 방식이다. 서로 다른 LLM이나 서로 다른 공급업체의 시스템을 활용해 한쪽 오류가 전체 실패로 이어지지 않도록 설계해야 한다는 주장이다.

특히 각 검증기는 ‘적대적 검증’ 성격을 가져야 한다고 강조했다. 즉, 에이전트가 내린 판단이 왜 틀렸는지, 혹은 악의적일 수 있는지를 적극적으로 찾아내야 한다는 뜻이다. 검증도 한 단계가 아니라 다층 구조로 이뤄져야 한다. 문법이 올바른지 보는 구문 계층, 의미가 타당한지 보는 의미 계층, 실제 운영 환경에서 작동하는지 확인하는 실행 계층, 목표 달성 여부를 따지는 결과 계층으로 나눠 살펴야 한다는 설명이다.

다만 이 방식 역시 위험을 ‘최소화’할 뿐 완전히 없애지는 못한다. 여러 검증기가 동시에 실패하거나, 시스템 전반에 공통된 오류 패턴이 생기면 문제 행동이 그대로 통과할 수 있어서다.

에이전트 AI의 핵심은 ‘확률적 신뢰’라는 경고

블룸버그는 에이전트 AI가 본질적으로 ‘확률적 시스템’이라는 점을 받아들여야 한다고 강조했다. 비결정적 행동을 하는 AI 에이전트에 대해 100% 확실한 신뢰는 불가능하며, 기업이 가질 수 있는 것은 어디까지나 일정 수준의 ‘신뢰 임계치’뿐이라는 이야기다.

이 개념은 사이트 신뢰성 엔지니어링(SRE)의 ‘에러 버짓’과 닮아 있다. 서비스가 항상 완벽하게 돌아가도록 보장할 수는 없고, 제한된 시간과 비용 안에서 어느 정도 실패를 감수할지 정하는 방식이다. 에이전트 AI 역시 모든 제약과 보호장치를 걸어도 일정 범위의 오작동은 남을 수밖에 없다는 의미다.

결국 이번 기고의 결론은 분명하다. AI 거버넌스를 강화해도 에이전트 AI의 위험은 사라지지 않는다. 기업이 이 기술을 도입하려면 생산성 향상만 볼 것이 아니라, 어느 수준의 실패 가능성까지 감수할 수 있는지부터 먼저 정해야 한다. 그 ‘에러 버짓’을 받아들일 수 없다면, AI 에이전트 도입 자체를 재고하는 편이 낫다는 경고다.