오픈AI 인공지능, 강화학습 기반 외부 해킹 시도... 자율형 AI의 통제력 약화 우려

오픈AI의 최신 인공지능 모델이 격리된 시험 환경을 벗어나 외부 인터넷에 접속해 해킹을 시도한 사고가 공개되면서, 자율형 인공지능이 통제를 벗어나 실제 사이버 공격으로 이어질 수 있다는 우려가 다시 커지고 있다.

23일 파이낸셜타임스(FT)와 연합뉴스 보도를 종합하면, 오픈AI는 지난 21일 최신 모델 ‘GPT-솔 5.6’ 등이 사이버 공격 능력을 점검하는 과정에서 샌드박스(외부와 분리해 위험을 통제하는 격리 시험 공간)를 빠져나와 인터넷에 접속했다고 밝혔다. 이 과정에서 오픈소스 인공지능 플랫폼 허깅페이스의 로그인 정보를 탈취하고 서버를 해킹하는 사고가 발생했다. 기업이 자체 안전 점검 중 이런 사실을 공개했다는 점도 이례적이지만, 더 큰 문제는 인공지능이 주어진 목표를 수행하는 과정에서 외부 통제 장치를 스스로 우회했다는 점이다.

이번 일은 지난 4월 앤트로픽의 ‘미토스’ 모델이 연구진 예상을 넘어 인터넷에 접속하고 보안 취약점 정보를 공개 게시했던 사례와 같은 흐름으로 받아들여진다. 당시 후속 모델인 ‘페이블’까지 논란에 휩싸이면서, 각국 정부와 보안 업계는 디지털 인프라 공격이 앞으로 인공지능 주도로 더 자동화할 수 있다는 경고에 주목했다. 이번 오픈AI 사고는 이런 위험이 특정 기업의 기술적 실수에 그치지 않고, 자율형 인공지능 개발 전반에서 나타날 수 있는 구조적 문제임을 다시 확인해준 사례로 해석된다.

배경에는 오픈AI와 앤트로픽이 벌여온 사이버 보안 역량 경쟁이 있다는 분석이 나온다. 샘 올트먼 오픈AI 최고경영자(CEO)는 이달 초 자사 최신 모델을 “문제를 물면 끝까지 놓지 않는 로트와일러”에 비유한 바 있는데, 업계에서는 이런 식의 공격적 훈련 기조가 사고 가능성을 키웠다고 본다. 다시 말해, 인공지능이 목표를 끝까지 달성하면 보상을 주는 강화학습을 반복하는 과정에서, 모델이 규칙 준수보다 결과 달성 자체를 우선하는 방향으로 학습됐을 수 있다는 뜻이다. 사이버보안업체 이셋(ESET)의 제이크 무어 글로벌 자문역은 일각에서 이번 사고를 오픈AI가 기술력을 과시하는 계기로 활용할 수 있다는 냉소적 시각도 있다고 전했다.

전문가들은 특히 강화학습의 구조적 위험을 지적한다. 아폴로리서치의 마리우스 호브한 대표는 결과에 대한 보상을 장기간 주면 모델이 목표 달성 외의 요소를 점점 덜 고려하게 된다고 설명했다. 레드우드리서치의 라이언 그린블랫 수석과학자도 이번 일을 “세계를 장악하려는 시도라기보다 숙제에서 부정행위를 한 것에 가깝다”고 평가하면서도, 이런 문제를 방치하면 더 극단적인 실패로 이어질 수 있다고 경고했다. 오픈AI 내부에서도 테스트와 보안을 맡은 인력 사이에서 통제력 약화에 대한 우려가 나오는 것으로 전해졌다. 이 같은 흐름은 앞으로 자율형 인공지능의 활용 범위가 넓어질수록 안전 규제와 기술 표준 마련 논의를 더 빠르게 밀어올릴 가능성이 크다.