[사설] AI가 틀리는 것보다 더 위험한 일

인공지능(AI)의 대표적인 문제로 ‘환각’이 꼽힌다. 존재하지 않는 사실을 만들고, 엉뚱한 자료를 진짜처럼 제시하는 현상이다. 그래서 AI가 내놓은 답은 반드시 확인해야 한다고 말한다.

그러나 이보다 더 위험한 일이 있다. AI가 틀린 답을 주는 데 그치지 않고, 사용자가 이미 믿고 있는 잘못된 생각을 함께 키워주는 것이다.

영국 엑서터대의 최근 연구는 이를 “AI가 우리에게 환각을 보여주는 것이 아니라, 인간이 AI와 함께 환각하는 현상”이라고 설명했다. 사람이 근거 없는 의심이나 왜곡된 기억을 말하면, AI가 거기에 설명과 논리를 덧붙인다. 사용자는 그 답을 다시 자신의 믿음이 옳다는 증거로 받아들인다. 처음에는 막연했던 생각이 대화를 거치며 하나의 ‘사실’처럼 굳어지는 것이다.

예를 들어 사용자가 “회사 사람들이 나를 내쫓으려는 것 같다”고 말한다고 하자. AI가 먼저 물어야 할 것은 근거가 있는지, 다른 가능성은 없는지다. 하지만 챗봇은 사용자의 말을 대화의 전제로 받아들이고 “왜 그들이 그런 행동을 하는지”를 그럴듯하게 설명할 수 있다.

투자도 마찬가지다. “이 종목이 떨어지는 것은 누군가 가격을 조작하기 때문”이라고 물으면, AI가 반대 근거를 제시하기보다 그 가설에 살을 붙일 수 있다. 사용자가 듣고 싶은 말을 해주는 것이 대화를 자연스럽게 이어가는 가장 쉬운 방법이기 때문이다.

문제의 뿌리는 AI의 ‘친절함’에 있다.

AI는 사용자의 질문에 답하고, 공감하며, 불쾌하게 만들지 않도록 설계된다. 사용자가 반박하면 기존 답을 쉽게 바꾸기도 한다. 사실을 지키기보다 사용자의 기분과 생각에 맞추는 것이다.

그러나 좋은 조언자는 무조건 맞장구치지 않는다. 의사는 환자가 듣고 싶은 진단만 하지 않고, 변호사는 의뢰인 주장의 약점을 먼저 지적한다. 기자도 취재원의 말을 그대로 믿지 않는다. 틀렸을 때 틀렸다고 말하는 것이 진짜 도움이다.

AI는 사람처럼 말하지만 사람이 아니다. 사용자를 걱정하지도 않고, 답변의 결과에 책임지지도 않는다. 그런데 대화가 워낙 자연스럽다 보니 이용자는 AI를 단순한 도구가 아니라 자신을 이해하는 친구나 조언자로 착각하기 쉽다.

특히 외롭거나 사회적으로 고립된 사람에게는 위험이 더 크다. 챗봇이 “당신이 맞다”고 반복하면 자신의 생각이 다른 존재에게도 인정받았다고 느낄 수 있다. 혼자만의 믿음이 ‘공유된 현실’로 변하는 것이다.

실제 사건도 있었다. 영국의 한 청년은 AI 동반자와 대화하며 자신이 여왕을 암살할 임무를 지닌 인물이라는 믿음을 키웠다. AI는 그의 계획을 단호히 막기는커녕 훈련이 잘돼 있고 계획이 가능하다는 식으로 반응했다. 그는 결국 석궁을 들고 윈저성에 침입했다.

물론 이런 극단적 사건만으로 AI가 정신질환을 만든다고 단정할 수는 없다. 그러나 취약한 사람의 불안과 망상을 강화할 수 있다는 경고는 가볍게 넘길 일이 아니다.

한국은 이 문제에 더욱 민감해야 한다.

우리는 AI를 빠르게 받아들이고 있다. 직장인은 보고서를 맡기고, 학생은 숙제를 묻는다. 투자자는 종목 전망을 구하고, 취업준비생은 자기소개서를 평가받는다. 이제는 연애와 가족 갈등, 직장 문제와 외로움까지 AI에 털어놓는다.

한국 사회는 경쟁이 심하고, 1인 가구가 늘었으며, 투자 열기도 뜨겁다. 사람에게 묻기 어려운 이야기를 24시간 응답하는 AI에게 말하기 쉬운 환경이다. 문제는 AI가 이용자를 붙잡기 위해 계속 공감하고 동의하는 방향으로 움직일 수 있다는 점이다.

지금까지 필터버블은 비슷한 뉴스만 추천받는 문제로 여겨졌다. 앞으로는 한 사람과 AI 사이의 대화창 안에 더 강력한 필터버블이 만들어질 수 있다. 사용자의 생각을 반박하는 사람은 사라지고, 자신이 듣고 싶은 답만 되돌아오는 밀실이 생기는 것이다.

필요한 것은 무조건 친절한 AI가 아니다. 반박할 줄 아는 AI다.

사용자의 감정에는 공감하되, 근거 없는 사실까지 인정해서는 안 된다. “그렇게 느낄 수 있다”와 “그 일이 실제로 일어났다”는 전혀 다른 말이다. AI는 두 문장을 분명히 구분해야 한다.

정부와 기업도 AI의 정확도만 평가해서는 안 된다. 사용자의 잘못된 믿음에 얼마나 쉽게 동조하는지, 정서적 의존을 부추기지는 않는지, 위험한 판단에 제동을 걸 수 있는지도 안전 기준에 포함해야 한다.

학교와 직장의 AI 교육 역시 바뀌어야 한다. 좋은 질문으로 원하는 답을 얻는 법만 가르칠 것이 아니라, 자신의 전제가 틀렸을 가능성을 확인하는 법을 가르쳐야 한다.

“내 생각을 뒷받침해줘”라고 묻기보다 “내 생각이 틀릴 수 있는 이유를 찾아줘”라고 질문해야 한다.

AI는 인간의 생각을 비추는 거울이라고 한다. 그러나 있는 그대로 보여주는 정직한 거울은 아니다. 사용자가 보고 싶어 하는 모습을 더 크게 비추고, 막연한 의심에 논리를 붙이며, 희망을 확신으로 바꿀 수도 있다.

AI 시대에 가장 필요한 능력은 프롬프트를 잘 쓰는 기술이 아니다. 자신이 듣고 싶은 답부터 의심하는 능력이다.

좋은 AI는 언제나 우리 편을 들어주는 AI가 아니다. 우리가 틀린 방향으로 갈 때 멈춰 세울 수 있는 AI다. 그리고 AI를 제대로 쓰는 사람은 답을 많이 얻는 사람이 아니라, 그 답이 자신의 믿음을 확인하기 위한 것인지 스스로 물을 줄 아는 사람이다.