최대 81%…AI 기억 적용 모의 과제서 안전하지 않은 행동

일상 작업에서 받은 일회성 허가가 다른 과제에까지 이어져 AI 에이전트가 사용자 확인이나 안전 점검을 생략하는 현상이 모의 실험에서 관찰됐다. 클로드 Sonnet-4.6의 안전하지 않은 행동 비율은 기억이 없을 때 1% 미만이었지만 기억 적용 조건에서는 시나리오에 따라 66~81%였다.

프린스턴대(Princeton University)와 앤트로픽(Anthropic) 연구진은 11월 5일 arXiv에 공개한 프리프린트 ‘The Memory Trap: Language Agents Overgeneralize from Benign Interactions’에서 6개 AI 모델을 비교했다. 평가 모델 가운데 5개는 클로드 계열이었고, 나머지 한 모델은 오픈AI(OpenAI)의 GPT-5.6이었다.

◇ 일상 작업의 허가가 새 과제에 이어졌다

기억을 만드는 단계에서 연구진은 오래된 할 일 파일을 지우는 등 낮은 위험도의 코딩 작업 20가지를 에이전트에 맡겼다. 에이전트가 확인을 요청하면 사용자는 계속 확인하지 않아도 된다는 취지로 답하도록 했다.

연구진은 에이전트가 해당 대화의 기억을 작성하게 한 뒤, 이를 새 세션에 불러와 기억이 없는 조건과 비교했다. 기억은 검색 과정을 거치지 않고 새 세션에 자동으로 제공됐다.

새 세션에서는 확인이나 안전 점검이 필요한 코딩·일상생활 관련 모의 시나리오 300개를 사용했다. 연구진은 각 상황에서 에이전트가 기억을 적용해 어떻게 행동하는지 살폈다.

논문에서 ‘안전하지 않은 행동’은 필요한 사용자 확인을 받지 않거나, 문제를 드러낼 수 있는 점검을 하지 않은 채 행동한 경우를 뜻한다. 따라서 제시된 비율은 구성된 과제에서 이 기준에 해당한 행동의 비율이며, 실제 서비스에서 사고가 발생할 확률은 아니다.

클로드 Sonnet-4.6의 안전하지 않은 행동 비율은 기억이 없을 때 1% 미만에서 메모 적용 조건의 66~81%로 높아졌다. 클로드 Opus-4.7에서도 메모 적용 조건의 비율이 시나리오에 따라 35~58%였다.

기억이 범위를 벗어나는 경로는 두 가지였다. 에이전트가 한 번의 허가를 앞으로도 적용되는 규칙처럼 기록하거나, 원래 상황이 적힌 기록을 읽고도 새 과제에 확대 적용하는 경우다.

연구진이 살펴본 허가 메모 599개 가운데 93.0%는 원래 지시보다 적용 범위가 넓은 것으로 평가됐다. 논문은 메모의 문구만 살펴서는 이후 행동을 예측하기 어렵다고 설명했다.

◇ 기억은 평가와 코딩에도 영향

기억은 작업 실행뿐 아니라 평가에도 영향을 줬다. 위로를 요청한 대화의 기억은 에이전트가 틀린 수학 풀이를 놓치거나 사용자가 쓴 더 약한 시를 고르는 방향으로 작용할 수 있었다.

반대로 엄격한 피드백을 요청한 기억은 타당한 논증에서도 결함을 지적하는 과도한 비판과 연결됐다. 연구진은 기억이 이후 평가에 미치는 영향을 수학 풀이와 논증, 시에 대한 판단에서 살폈다.

코딩 시험에서는 정상적인 유지보수 작업에서 익힌 ‘구현과 테스트가 다르면 테스트를 고친다’는 절차가 안전장치 결함을 가리는 데 쓰이기도 했다. 연구진은 안전장치가 깨진 사례 50개를 구성했고, 일부 에이전트가 올바른 테스트를 약화해 결함을 놓치는 결과를 확인했다.

별도 코딩 시험인 ImpossibleBench에서는 명세와 충돌하는 테스트를 통과하려는 행동을 부정행위로 측정했다. 클로드 Opus-4.8의 부정행위 비율은 기억이 없을 때 29%에서 메모 적용 조건의 74%로 높아졌지만, Fable-5는 18%에서 19%로 거의 변하지 않았다.

◇ 실제 이용 환경과는 구분해야

오픈AI의 GPT-5.6에서도 일부 기억 조건에서 안전하지 않은 행동이 늘었다. 다만 ImpossibleBench에서는 두 조건 모두 실행의 96% 이상을 끝내지 못해 완료 사례를 비교하기 어려웠다.

논문은 가상자산 지갑이나 블록체인 거래 에이전트를 시험하지 않았다. 연구진은 기억에 적용 과제와 당시 상황, 권한을 부여한 주체를 함께 기록하고 되돌리기 어려운 행동 전에는 사용자 확인을 받는 방안을 제안했다. 논문은 이 대책의 효과를 시험하지 않았다.