사이버 위협과 정보 조작 등 AI 기술의 악용 사례가 전 세계적으로 확산되는 가운데, 오픈AI(OpenAI)는 이를 막기 위한 대응 방안을 담은 새로운 보고서를 발표했다. 10월 공개된 이번 보고서는 악의적 목적의 AI 활용을 차단하고, 이를 투명하게 공개함으로써 산업 전반의 방어 체계를 강화하려는 의지를 전면에 내세웠다.
보고서에 따르면 최근 위협 행위자들은 기존 범죄 수법에 AI를 접목하는 방식으로 진화하고 있다. 러시아어 기반 조직들은 원격 액세스 트로이목마(RAT)와 자격 증명 탈취 도구를 고도화하고 있었고, 한국어권 해커들은 지휘·통제(C2) 시스템 구축에 집중하고 있는 것으로 나타났다. 또한 중국과 연계된 것으로 추정되는 집단은 대만 반도체 산업, 미국 학계, 정치 단체 등을 겨냥한 피싱 메시지와 악성코드 디버깅을 위해 AI를 활용한 정황이 포착됐다.
이와 관련해 오픈AI는 자사 모델이 악용되는 시도를 대부분 차단했으며, 탐지된 공격 패턴은 업계 파트너와 즉시 공유돼 공동 방어에 나섰다고 밝혔다. 특히 캄보디아, 미얀마, 나이지리아에서 벌어지는 대규모 조직 범죄 활동에 AI가 동원되고 있음을 강조했다. 해당 지역 범죄 조직들은 챗GPT(ChatGPT)를 활용해 다국적 사기 메시지를 번역하고, SNS 콘텐츠를 제작하며, 거짓 투자자 프로필을 생성해 수익을 창출하고 있는 것으로 드러났다. 이 과정에서 AI 생성 문장의 흔적을 감추려고 이모 대시(—) 삭제까지 요구했다는 사실도 보고서에 포함됐다.
하지만 오픈AI는 자사 모델이 실제로 악용되는 비율보다 이를 탐지하거나 방어하는 데 더 자주 활용되고 있다고 분석했다. 수백만 명의 사용자들이 사기 감지를 위해 챗GPT를 찾고 있다는 것이다. 회사 측은 AI가 편향적이고 위험한 방식으로 사용되는 것을 막기 위해 전담팀을 운영하며, 특히 민주주의 국가의 방어 이니셔티브 강화에 주력하고 있다고 설명했다.
보고서는 또한 중국 관련 아이디 사용자들이 AI를 이용해 반체제 인사 감시, SNS 여론 조작, 선전 콘텐츠 기획 등을 시도한 정황도 담고 있다. 오픈AI는 이에 상응하는 계정을 차단하고, 국가 안보에 위협이 되는 행위에는 단호히 대응하겠다는 ‘민주주의형 AI’ 원칙을 재확인했다.
오픈AI는 "앞으로도 공격자들이 AI를 이용해 새로운 수법을 고안할 가능성이 크지만, 이에 맞설 방어 체계 또한 사회 전반에 걸쳐 발전하고 있다"며, 기술 업계와 시민 사회가 함께 방어 체계를 구축할 수 있도록 지원하겠다고 밝혔다.
보안평가기업 시큐리티스코어카드(SecurityScorecard)의 코리 케네디 최고 위협정보 책임자는 "보고서는 AI 악용이 진화하고 있다는 점을 입증하는 동시에, 여러 모델을 조합해 효과를 극대화하려는 범죄조직의 전략까지 드러냈다"고 평가했다. 그는 "국가 주도의 감시 체계 설계 요청 및 여론 통제 시도는 AI의 위험 지점을 실증적으로 보여주는 사례"라며, 이에 대응한 플랫폼 간 정보 공유 및 투명성 강화를 촉구했다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>