AI 특허 초안 점수 0.38 표준편차 높아…경력별 차이 확인

AI를 활용한 특허 초안 작성 시험에서 변호사들의 점수가 대조군보다 0.38 표준편차 높았지만, AI 없이 문서를 검토한 시험에서는 경력 7년 이상 변호사에게서만 평균적인 향상이 나타났다. AI를 쓴 결과물의 품질과 도구 없이 발휘하는 역량은 다를 수 있다는 연구 결과다.

데이비드 오터(David Autor) MIT 경제학 교수와 공동 연구진은 2026년 9월 공개한 전미경제연구소(NBER) 워킹페이퍼에서 미국 지식재산권 법률사무소 11곳의 변호사 133명을 대상으로 3개월간 진행한 무작위 실험을 소개했다. 연구 결과는 동료 평가를 거치지 않은 워킹페이퍼에 담겼다.

AI 도구를 사용할 수 있었던 변호사들은 90일 뒤 특허 초안 작성 시험에서 대조군보다 평균 0.38 표준편차 높은 점수를 받았다. 구글 리서치가 공개한 설명에 따르면, 이 차이는 대조군 점수 분포에서 백분위 기준 11포인트에 해당한다.

연구진은 AI 없이 문서를 검토하는 역량도 따로 측정했다. 90일째 시험에서 변호사들은 기존 특허 문서의 오류를 직접 수정했고, 이때는 AI 사용이 금지됐다. 전체 AI 사용 집단은 대조군보다 0.32 표준편차 높은 점수를 받았다.

경력별로 보면 차이가 뚜렷했다. 경력 7년 이상 변호사는 대조군보다 0.45 표준편차 높은 점수를 받았지만, 7년 미만 변호사에게서는 평균적인 향상이 나타나지 않았다.

주니어 변호사 집단 안에서도 점수 분포는 엇갈렸다. 낮은 점수와 좋은 점수가 늘고 중간 점수는 줄었으며, 최고 점수대에는 변화가 없었다. 초안 작성 점수의 향상만으로 AI 없이 발휘하는 판단 능력도 같은 폭으로 자랐다고 볼 수 없는 이유다.

다만 이 결과를 Z세대 전체의 직무 역량에 대한 결론으로 넓혀 읽기는 어렵다. 조사 대상은 연령이 아니라 변호사 경력이었고, 시험 전 기초 역량 측정도 없었다. 133명 가운데 AI 없이 치르는 최종 시험을 마친 인원은 91명이었다.

연구진은 관찰 기간이 3개월인 만큼 장기간의 경력 형성까지 보여주는 실험은 아니라고 설명했다. NBER 논문은 연구진이 직접 비용을 부담한 주체가 구글이라고 공개했고, 공동 저자 일부가 구글 직원이라고 밝혔다.

구글 리서치는 AI를 활용한 업무 성과와 도구 없이 수행하는 역량을 구분해 측정해야 한다는 연구 취지를 설명했다. AI를 쓸 때 만든 결과물의 품질과 사용자의 숙련도를 같은 지표로 판단하기 어렵다는 취지다.

오터는 포춘에 보낸 서면 답변에서 젊은 전문직 종사자들이 ‘유능하다는 착각’을 경계해야 한다고 말했다. 그는 AI 없이 과제를 수행하고 결과를 평가해야 역량이 실제로 성장하는지 알 수 있다는 취지로 설명했다. 다만 오터와 공동 연구진은 이 실험만으로 AI가 주니어의 장기 성장을 막는다고 결론 내릴 수는 없다고 선을 그었다.

오터는 일부 전문 분야가 AI 도입으로 사라지는 동시에 새 분야가 생길 수 있지만, 기존 업무를 잃은 노동자가 새 역할을 맡는다고 보장할 수는 없다고 포춘에 말했다. 기업이 자동화할 업무와 사람의 판단력을 길러야 할 업무를 구분하고, 주니어 직원에게 AI 없이 연습할 기회와 멘토링을 제공해야 한다는 방안도 제시했다. 이는 연구자가 내놓은 제안으로, 검증된 해결책은 아니다.

이번 연구는 특허 변호사의 업무와 역량을 다뤘다. 가상자산이나 블록체인과의 직접적인 연관성은 확인되지 않았다.