AI 연구자 잇단 경고…자기개선 초지능 통제 시험대

인공지능이 향후 10년 안에 모든 인간을 죽일 가능성이 10%를 넘는다고 보는 연구자가 등장하면서, AI의 재귀적 자기개선과 인간 통제 가능성을 둘러싼 논쟁이 커지고 있다. 구글 딥마인드 출신 연구자도 AI가 다음 세대 모델 개발을 맡는 과정에서 인간의 감독이 약해질 수 있다고 경고했다.

리시브 자인(Rishub Jain) 구글 딥마인드 전 연구원은 AI가 후속 모델을 만드는 방식을 사람이 충분히 이해하지 못할 수 있다고 판단해 올해 회사를 떠났다. 자인은 WIRED 인터뷰에서 “AI의 발전은 빨라지고 있으며, AI 역량이 커질수록 위험도 커진다”고 말했다.

자인이 우려한 재귀적 자기개선은 AI가 다른 AI를 훈련하고 코드를 수정하며 다음 모델 개발 과정까지 맡는 구조다. 현재 주요 AI 연구소 가운데 완전히 자율적인 자기개선 순환을 구축했다고 밝힌 곳은 없다.

다만 AI 에이전트를 대규모로 투입해 복잡한 문제를 해결하는 방식은 이미 등장했다. 오픈AI는 9월 5일 내부 모델을 기반으로 약 1만 개의 에이전트를 동원해 나비에-스토크스 문제의 해법을 도출했다고 밝혔다.

에이전트들은 약 88시간 동안 270만 건의 메시지를 주고받았고, 결과를 형식화·검증하는 데 추가로 17시간이 걸렸다. 오픈AI는 이번 결과를 AI 발전의 한 시점으로 설명했지만, 수학계의 밀레니엄 상금 문제를 해결했다고 공식 청구하지는 않았다.

이처럼 에이전트 수와 협업 단계가 늘어나면 사람이 각 단계의 판단 근거를 추적하기가 더 어려워진다. AI가 연구와 개발을 돕는 수준을 넘어 후속 시스템의 설계 과정에 관여할수록 감독의 범위도 함께 넓어져야 한다.

앤트로픽에서도 공개 경고가 나왔다. 제이컵 콕슨(Jacob Coxon) 앤트로픽 전 연구원은 사임을 알리며 “AI 기업들이 자기개선 초지능을 향해 곧장 달려가며 인간의 목숨을 걸고 도박하고 있다”고 주장했다.

에번 후빙어(Evan Hubinger) 앤트로픽 정렬 과학 책임자는 “AI가 앞으로 10년 안에 모든 인간을 죽일 가능성이 10%를 넘는다고 개인적으로 본다”고 밝혔다. 관련 발언은 AP통신도 전했다.

후빙어의 발언은 회사의 공식 전망이 아니라 개인적인 위험 평가다. 다만 고도 AI 개발 속도와 안전성 검증 수준 사이의 간극을 둘러싼 연구자들의 우려를 보여주는 사례로 받아들여지고 있다.

정렬은 AI의 행동이 인간의 의도와 가치에 맞도록 평가하고 조정하는 기술 분야다. 네이트 소어스(Nate Soares) MIRA 컴퓨터과학자는 정렬이 모델 성능 향상과 함께 쉬워질 것이라는 기대와 달리 오히려 어려워지고 있다고 말했다.

소어스는 수천 개의 에이전트가 서로 협력하는 구조에서 각 단계의 판단 근거를 사람이 추적하기가 더 복잡해진다고 지적했다. 모델이 똑똑해지는 것과 모델의 행동을 사람이 이해하고 통제하는 일은 별개의 문제라는 설명이다.

자인은 인간의 판단을 AI로 완전히 대체하기보다 두 체계를 결합하는 방식에 주목하고 있다. 그는 구글 딥마인드를 떠난 뒤 샘푸라 리서치를 설립해 인간과 AI가 함께 모델을 평가하는 기술을 연구하고 있다.

샘푸라 리서치는 향후 6개월 동안 AI 행동의 정확성과 정렬 여부를 평가하는 ‘판정자’ 개발에 집중할 예정이다. 샘푸라 리서치는 인간과 AI의 역할을 나누는 평가 체계를 목표로 제시했다.

AI 통제 논쟁은 연구실 안에만 머물지 않고 제도 논의로도 이어지고 있다. 본지는 앞서 콕슨의 사임 이후 미국 의회에서 초지능 개발 제한과 AI 감독 체계 논의가 이어지고 있다고 보도했다.

현재 확인된 것은 완전한 자기개선 AI의 출현이 아니다. 확인된 사실은 AI 에이전트의 규모와 자율성이 커지는 가운데 연구자들이 인간 감독의 한계를 경고하고, 인간과 AI의 판단을 결합하는 통제 기술을 개발하고 있다는 점이다.