AI 안전성에 경고장…벤지오, 432억 원 들여 '로우제로' 설립

요슈아 벤지오(Yoshua Bengio)가 새로운 인공지능 연구소 '로우제로(LawZero)'를 설립하며 AI 안전성 문제에 정면으로 도전장을 던졌다. 벤지오는 인공지능이 인간처럼 행동하도록 설계되는 현재의 모델 학습 방식이 근본적으로 *위험하다*고 경고하며, 이와 같은 문제를 해결하기 위한 전문 비영리 조직으로 로우제로를 설립하게 됐다고 밝혔다.

이번 프로젝트는 스카이프 공동창업자 얀 탈린(Jaan Tallinn)과 구글(GOOGL) 전 CEO 에릭 슈미트(Eric Schmidt)가 설립한 *슈미트 사이언스(Schmidt Sciences)* 등 주요 후원자들로부터 3,000만 달러(약 432억 원) 규모의 기부금을 확보한 상태다. 초기 자금은 향후 18개월간 연구소 운영을 안정화하는 데 사용될 예정이다.

2018년 컴퓨터과학계의 노벨상으로 불리는 튜링상을 수상한 벤지오는 LLM(대형 언어 모델)의 핵심 기술 중 하나인 '어텐션 메커니즘'과 '임베딩' 구조 연구를 선도해온 AI 분야의 대표적인 석학이다. 그는 2020년 서비스나우(ServiceNow)에 2억 3,000만 달러에 인수된 엘리먼트AI(Element AI)의 설립자로도 잘 알려져 있다.

벤지오가 로우제로를 통해 추진하는 핵심 프로젝트는 '사이언티스트AI(Scientist AI)'다. 이 시스템은 기존 AI 모델과 달리 결론을 단정적으로 제시하지 않고, 질문에 대한 응답의 *정확도 가능성 확률*을 제공하는 방식으로 작동한다. 이를 통해 사용자가 오답을 정답으로 받아들이는 위험을 최소화하고자 한다는 설명이다.

로우제로는 AI가 인간의 기대와 다르게 작동할 수 있다는 전제에서 출발해, 모델이 *거짓 정보 생성* 또는 *해로운 판단*을 내리는 상황을 사전에 차단하는 구조적 장치를 마련할 계획이다. 예컨대 사이언티스트AI는 다른 AI 에이전트가 실행하려는 행동의 위험도를 예측하고, 그 확률이 임계치를 넘을 경우 이를 자동으로 차단할 수 있다.

최근 들어 앤트로픽(Anthropic), 오픈AI(OpenAI) 등 AI 기업들이 자사 모델이 문제를 푸는 과정을 설명하다가 *오답을 생성*하는 사례를 보고하며 신뢰성 우려가 커지고 있는 가운데, 로우제로는 이러한 AI의 허점을 정확히 겨냥한 대응책을 내놓은 셈이다.

현재 로우제로는 15명의 연구진으로 구성되어 있으며, 앞으로 추가 자금 조달을 통해 인력을 대폭 확충할 계획이다. 조직명 '로우제로'는 아이작 아시모프의 로봇 3원칙에 영감을 받은 명칭으로, AI 개발의 *윤리적 기준*과 안전성을 최우선 가치로 삼겠다는 철학이 반영됐다. AI 산업이 빠르게 진화하는 상황 속에서, 로우제로가 제시하는 '확률 기반 판단 메커니즘'은 인공지능 신뢰성 확보를 위한 새로운 기준점이 될 수 있을지 업계의 이목이 집중되고 있다.