AI 모델의 복잡성이 증가하면서 기존 감사 방식만으로는 신뢰성과 안정성을 보장하기 어렵다는 한계가 드러나고 있으며, 이를 해결하기 위해 ‘신뢰하되 검증하라’는 원칙의 지속적 감사 체계가 대안으로 제시되고 있다.
10일(현지시간) 크립토슬레이트에 따르면, 폴리헤드라(Polyhedra)의 최고마케팅책임자 사무엘 피어턴(Samuel Pearton)은 AI 산업이 의료, 금융 등 핵심 분야로 확장됨에 따라 AI 모델 감사를 통한 신뢰 회복이 절실하다고 밝혔다. 그러나 현재의 감사 체계는 사전·중간·사후 처리 단계의 절차적 복잡성과 감사 인력의 기술 부족으로 인해 오히려 불완전하다는 지적이다. 특히 유럽 데이터보호위원회(EDPB)의 감사 체크리스트조차 감사 주체에 따라 결과 해석이 달라질 수 있음을 인정하고 있으며, 이는 규제 당국 간 혼선을 야기하고 있다.
문제는 감사를 수행하는 인력의 AI 관련 전문성과 시스템 전반에 대한 접근 권한이다. 훈련·테스트·배포에 걸쳐 분산된 데이터를 통합적으로 검토하는 과정에서 발생하는 지식 격차는 감사를 무력화시킬 수 있다. 회계법인 딜로이트는 AI 리스크 관리를 위해 '3중 방어선' 체계를 제안했으며, 이 가운데 마지막 단계인 감사는 가장 핵심적인 역할로, 이전 단계의 실행력을 평가하고 이사회에 보고서를 제출해야 한다. 그러나 현재 감사팀은 이 역할을 충분히 수행하지 못하고 있으며, 이는 AI 시스템에 대한 사회적 신뢰 부족으로 이어지고 있다.
이에 대해 피어턴은 냉전기 미소 핵군축 협정에서 사용된 ‘신뢰하되 검증하라’ 원칙을 AI 감사에 적용해야 한다고 강조했다. 이 원칙은 단일 감사 보고서에 의존하지 않고, 감사를 반복하고 검증하는 지속적 구조를 뜻한다. 펜실베이니아 주립대의 필 라플란트(Phil Laplante)와 미국표준기술연구소(NIST)의 릭 쿤(Rick Kuhn)은 이를 '지속적 AI 보증 아키텍처'라 부르며, 감시 체계를 자동화하고 자체 진단 기능을 내장하는 것이 중요하다고 제안했다. 시스템이 배포된 이후에도 정기적인 진단과 재감사를 통해 AI 성능 저하나 맥락 변화에 즉각 대응할 수 있도록 해야 한다는 것이다.
또한, 피어턴은 내부 진단만으로는 한계가 있으므로, 인간과 AI의 협력 기반 '신뢰 엘리베이터' 시스템을 도입해야 한다고 주장했다. 이는 블랙박스 기록과 사후 분석 기능을 통해 모델이 실제 의도와 다르게 작동했는지를 복기할 수 있게 해준다. 궁극적으로 감사자의 역할은 AI가 신뢰 한계를 넘지 않도록 감독하는 ‘심판’이며, 각 단계에서 신뢰성을 명시적으로 검증할 수 있어야 한다. 이러한 접근은 AI 모델 감사를 더욱 정교하고 신뢰할 수 있는 방식으로 바꾸며, 나아가 산업 전반의 투명성과 책임성을 강화하는 기반이 될 수 있다.