AI 수학 성과, 암호학 해독 입증 안 돼…보안 점검 활용 논의

인공지능(AI)의 수학 문제 풀이 능력이 높아졌다는 사실만으로 기존 암호학이 깨졌다고 볼 수는 없다는 전문가들의 진단이 나왔다. AI가 암호 체계의 취약점을 찾거나 소프트웨어 출시 전 보안 점검을 돕는 도구가 될 가능성도 논의됐다.

안드리센호로위츠(a16z) 크립토는 스탠퍼드대 암호학자 댄 보네(Dan Boneh)와 연구진이 참여한 대담을 공개했다. 논의는 오픈AI의 수학 연구 성과가 공개된 뒤 AI가 암호학을 무력화할 수 있다는 우려가 나온 데서 출발했다.

대담 참가자들은 공개된 성과가 암호학 문제를 풀었다는 뜻은 아니라고 선을 그었다. 보네는 “여기에는 암호학 문제가 없다”고 말했다. 에디 라자린(Eddy Lazzarin) 안드리센호로위츠 크립토 제너럴 파트너도 이번 결과로 타원곡선이 이전보다 취약해졌거나 특정 암호학 가정의 안전성이 낮아졌다는 사실이 드러난 것은 아니라고 설명했다.

암호학은 일부 수학 문제를 효율적으로 풀 방법이 없다는 가정에 기대고 있다. 그러나 그 가정이 참인지 일반적으로 증명하기는 어렵다. 보네는 암호학의 난제를 증명하려면 컴퓨터과학의 미해결 문제인 P 대 NP 문제와도 맞닿아 있다며, 이번에 공개된 결과가 이 문제의 해결에 근접한 것은 아니라고 말했다.

저스틴 탈러(Justin Thaler) 안드리센호로위츠 크립토 리서치 파트너는 “존재하지 않는 알고리즘은 AI가 아무리 똑똑해도 찾아낼 수 없다”고 말했다. 효율적인 암호 해독 알고리즘이 실제로 존재하는지와 AI가 이를 발견할 수 있는지는 별개의 문제라는 취지다.

암호 설계가 공격을 견디는지 확인하는 과정은 시스템에 대한 신뢰를 쌓는 데 쓰인다. 보네는 과거에는 새 가정에 기반한 시스템을 배포하기 전에 오랜 분석 기간을 두곤 했다며, AI 모델을 이용하면 점검을 앞당길 수 있다고 말했다. 다만 모델이 한 달 동안 공격에 실패했다고 해서 암호 체계의 안전성이 증명되는 것은 아니라고 덧붙였다.

양자컴퓨터에 대비해 준비해 온 조치가 AI 위험에도 일부 도움이 될 수 있다는 의견도 나왔다. 라자린은 타원곡선 암호가 양자 위협으로 취약해질 가능성에 대비해 완화 조치를 준비해 왔다고 말했다. 보네는 AI가 양자내성 암호까지 살펴 취약성을 찾을 가능성이 있어 위험 범위가 더 넓을 수 있다고 봤다.

대담에서는 암호 방식에 약점이 드러났을 때 다른 방식으로 전환할 수 있게 설계하는 ‘암호 민첩성’도 언급됐다. 보네는 일부 인터넷 연결이 타원곡선 암호와 격자 기반 암호를 함께 사용하는 사례를 들며, 한 방식에 문제가 생겨도 다른 방식이 남도록 설계할 수 있다고 설명했다.

개발 단계에서 소프트웨어 결함을 찾는 일도 AI의 활용처로 제시됐다. 보네는 기업이 새 암호 기능이나 일반 소프트웨어를 배포하기 전에 AI 모델로 취약점을 분석할 수 있다고 말했다. 라자린은 AI 역량이 보안 결함을 줄이는 데 쓰일 수 있다고 봤다. 이는 대담 참가자들이 제시한 가능성이며, 실제 탐지 성능이나 보안 개선 효과가 입증됐다는 뜻은 아니다.

AI의 수학 연구 성과가 암호 기술의 안전성에 미칠 영향을 둘러싼 논의는 이어지고 있다.