오픈AI 최고과학자가 AI 발전이 현재 경로를 이어갈 경우 재귀적 자기개선으로 이어질 수 있다고 경고했다. 그는 정렬과 모니터링 기술 강화, 방어 시스템 구축과 함께 필요하면 추가 규모 확장을 일방적으로 중단할 수 있다고 했다.
야쿠브 파초키(Jakub Pachocki) 오픈AI 최고과학자는 6일 공개한 글 '외계의 마음(An Alien Mind)'에서 2023년 중반 알엘슬로(RLSlow) 연구 프로젝트가 추론 모델 훈련의 확장 가능성을 처음 보여줬다고 밝혔다. 그는 이후 3년 동안 추론 언어모델이 경제 성장의 일부가 됐고, 컴퓨터와 그래픽 인터페이스 조작, 사람·AI와의 협업, 연구 프로젝트 수행까지 가능해졌다고 설명했다.
파초키 최고과학자는 내부 결과를 근거로 현재의 발전 속도가 재귀적 자기개선까지 지속될 수 있다는 강한 예상을 갖고 있다고 밝혔다. 그는 "기계지능의 지속적이고 빠른 상승이 가져올 결과에 누구도 준비돼 있지 않다고 우려한다"고 말했다.
그는 AI 정렬 문제를 목표 정렬과 가치 정렬로 나누고, 핵심 과제는 일반화라고 설명했다. 또 사고 과정 모니터링을 주요 감시 수단으로 보고 있지만 의존 가능성이 점차 약해지고 있다며, 현재는 사용 가능한 최선의 모델로 핵심 시스템 보안을 강화할 좁은 시기라고 밝혔다.

