기업 AI 도입 확산…‘판단 주권’ 약화 경고 나왔다

AI 도입이 기업 생산성을 끌어올리고 있지만, 그 이면에서는 조직의 ‘판단 주권’이 천천히 약해질 수 있다는 경고가 나왔다. 속도와 효율에 집중하는 사이, 인간이 방향을 정하고 책임을 지는 역할이 AI에 조금씩 밀려날 수 있다는 지적이다.

실리콘앵글에 기고한 홀리스틱 AI 공동창업자 겸 공동 최고경영자 에므레 카짐(Emre Kazim)은 최근 기업들이 고객 응대부터 의사결정까지 AI를 빠르게 내재화하고 있다고 진단했다. 그는 위험이 갑작스럽게 드러나는 것이 아니라 ‘조용하고 점진적이며 정당화되기 쉬운 방식’으로 나타난다고 설명했다. 겉으로는 업무 효율이 높아지지만, 내부적으로는 인간의 판단과 책임이 흐려질 수 있다는 의미다.

카짐은 이를 조직의 ‘에이전시’, 즉 스스로 판단하고 결정하는 능력의 약화로 표현했다. 인간이 더 이상 방향을 설정하지 않고, AI 시스템이 제시한 결과를 수동적으로 감독하는 수준에 머물기 시작할 때 이런 변화가 시작된다는 것이다. 그는 이 전환이 한 번에 선언되듯 일어나는 것이 아니라, 매번 작은 결정이 쌓이면서 굳어진다고 봤다.

AI는 이제 도구를 넘어 ‘업무 환경’이 되고 있다

그는 AI가 더 이상 단순한 소프트웨어가 아니라 기업이 일하는 ‘환경’ 자체로 바뀌고 있다고 짚었다. 실제로 많은 기업은 브랜드 가이드라인, 운영 매뉴얼, 과거 의사결정 기록 같은 내부 데이터를 학습시켜 조직에 특화된 AI 모델을 만들고 있다. 이렇게 구축된 시스템은 특정 직원 한 명보다 조직 전체의 맥락을 더 폭넓게 이해하는 것처럼 보일 수 있다.

문제는 여기서 발생한다. 시스템이 모든 맥락을 알고 있는 듯 보이면, 그 결과를 의심하거나 반박하는 행위가 조직 자체를 부정하는 것처럼 느껴질 수 있기 때문이다. 카짐은 AI가 자신감 있고 매끄러운 언어로 완결된 답변을 제시할수록, 반대 의견을 내는 비용은 더 커진다고 설명했다.

그는 학계 출신 경험을 바탕으로 ‘합의’보다 ‘질문’을 중시하는 문화가 강한 조직을 만들어야 한다고 강조했다. 건강한 조직은 단순한 정렬이 아니라, 불편하더라도 추론을 검증하고 가정을 흔드는 과정 위에서 세워진다는 주장이다.

편리한 위임이 ‘의존’으로 바뀌는 순간

카짐은 인간이 원래 사고의 일부를 도구에 맡겨 왔다고 설명했다. 종이 지도 대신 GPS를 쓰고, 손계산 대신 스프레드시트를 쓰는 일은 자연스럽고 합리적인 변화라는 것이다. 그러나 AI는 단순 계산을 넘어 추론, 언어 생성, 추천, 의사결정까지 대신한다는 점에서 차원이 다르다고 봤다.

그는 판단력을 쓰지 않으려는 의도가 처음부터 있는 것은 아니라고 했다. 다만 AI가 몇 초 만에 답을 내놓으면, 사람은 숙고와 검증이라는 인지적 부담을 건너뛰게 된다. 그 결과 판단은 ‘포기’되는 것이 아니라 ‘사용되지 않으면서’ 약해진다는 설명이다.

이를 설명하기 위해 그는 한 지인의 정원 관리 사례를 소개했다. 이 지인은 AI 비서를 활용해 식물 선택, 물 주기 일정, 가지치기 시점까지 관리했고, 정원은 안정적으로 잘 유지됐다. 하지만 드문 해충이 나타나자 스스로 대응하지 못했다. 시간이 부족해서도, 능력이 없어서도 아니었다. 계절의 흐름, 마른 흙의 감각, 비 오기 전 잎의 변화처럼 정원을 이해하는 감각 자체가 사라졌기 때문이다.

카짐은 이 사례가 기업에도 그대로 적용될 수 있다고 봤다. 겉으로는 운영이 더 매끄러워져도, 조직 구성원이 왜 그런 결론이 나왔는지 이해하지 못하면 결국 AI 계획의 ‘관리자’가 될 뿐이라는 것이다.

조직 순응은 원래 있었지만, AI는 이를 훨씬 빠르게 만든다

그는 기업이 본래 공통된 서사에 맞춰 움직이며 외부 시각을 잃기 쉬운 구조를 갖고 있다고 지적했다. 직원들은 비슷한 가정을 강화하고, 조직 내부의 논리를 반복하면서 점차 이견을 줄여간다. AI는 이런 경향을 새로 만든 것이 아니라, 대규모로 확산시키는 역할을 한다는 게 그의 판단이다.

카짐에 따르면 에이전시 약화는 일상적인 운영에서 드러난다. 리더는 여전히 결정권을 가진 것처럼 보이지만 실제로는 AI 권고안을 깊게 따지지 않고 받아들이기 쉽다. 결과물이 지나치게 정교하고 자신감 있게 제시되면 반론을 제기하는 행위 자체가 부담이 된다. 시간이 지나면 업무 흐름과 사고 방식도 시스템이 작동하는 구조에 맞춰 재편된다. 결국 사람들은 깔끔하게 정리된 답을 의심 없이 받아들이는 데 익숙해진다.

해법은 AI 거부가 아니라 ‘인간 의도’의 구조화

카짐은 해법이 AI를 거부하는 데 있지 않다고 선을 그었다. 핵심은 효율이 판단을 조용히 대체하지 않도록 설계하는 데 있다는 것이다. 이를 위해서는 인간이 권위 있어 보이는 답을 신뢰하고 마찰을 피하려는 성향을 지녔다는 점부터 인정해야 한다고 말했다.

그는 이런 문제를 다루기 위한 방식으로 자사에서 연구 중인 ‘가디언 에이전트’를 소개했다. 이는 단순 감시 도구가 아니라 정책, 통제, 기대 수준 같은 인간의 의도를 시스템에 반영하고 지속적으로 집행하는 구조라고 설명했다. 인간은 흔들리고 시스템은 확장되는 만큼, 의도 역시 명확히 정의하고 검증하며 필요할 때 갱신해야 한다는 의미다.

그는 리더들이 AI 시대에 맞는 조직 설계를 고민해야 한다고 봤다. 이견과 토론이 가능한 업무 흐름을 만들고, 어느 지점에서 인간 판단이 시스템 논리를 우선하는지 분명히 해야 한다는 것이다. 또 질문과 반론, 독립적 사고를 장려하고, 편리한 사용이 의존으로 바뀌는 신호를 팀이 알아차릴 수 있도록 교육해야 한다고 제안했다.

결국 경쟁력은 AI를 얼마나 빠르게 도입하느냐보다, 그 과정에서도 인간의 판단력을 얼마나 지켜내느냐에 달렸다는 것이 카짐의 결론이다. AI가 조직 운영 방식을 바꾸는 흐름은 피하기 어렵지만, 그 변화가 인간의 판단을 대체할지 강화할지는 결국 리더십에 달려 있다는 지적이다.