아마존, AI 사용량보다 업무 성과를 엔지니어 평가 기준으로

아마존($AMZN)이 소프트웨어 엔지니어의 AI 사용량을 업무 성과 목표로 삼지 말라고 권고했다. 토큰을 더 쓰거나 코드를 더 많이 고쳐도 고객과 사업에 도움이 되는 결과로 이어지지 않을 수 있다는 이유에서다.

아마존은 27일 공개한 엔지니어 직무 지침에서 AI 사용량보다 고객·사업·팀에 미친 영향을 평가 기준으로 제시했다. 사용한 도구나 생성한 코드의 양이 아니라 업무 결과를 살피라는 취지다.

터크 터코위츠(Terk Terkowitz) 아마존 월드와이드 스토어 부사장 겸 디스팅귀시드 엔지니어(Distinguished Engineer)는 “현재 AI 도구가 업무에 도움이 되지 않는다면, 이는 실패가 아니라 발견”이라고 말했다. AI가 모든 작업에 유용한 것은 아니라는 점도 판단의 결과로 보라는 뜻이다.

아마존은 AI가 도움이 되지 않은 이유를 기록해 동료와 공유하고 관리자에게 알리라고 했다. 가능한 해결책을 함께 찾는 과정도 권고했다.

지침이 경계한 것은 ‘토큰맥싱(tokenmaxxing)’이다. AI 모델이 처리하는 토큰 사용량을 늘리는 데 집중하는 관행을 가리킨다.

터코위츠는 토큰 사용량과 코드 줄 수가 생산성을 재는 데 “크게 결함이 있는” 지표라고 지적했다. 이 수치만으로는 결과물의 품질을 알 수 없다는 설명이다.

이 지표를 목표로 삼으면 비용과 불필요한 복잡성이 커질 수 있다. 토큰을 더 쓰는 것은 비용 절감 원칙에, 코드 줄 수를 늘리는 것은 단순화 원칙에 어긋난다고 아마존은 설명했다.

기업들이 AI 사용량과 비용을 함께 관리하는 움직임은 다른 곳에서도 나타났다. 본지는 앞서 AI 도구 사용량과 지출을 추적하고 고가 모델 접근을 제한하는 기업들의 움직임을 전했다.

아마존이 사용량 지표 자체를 없앤 것은 아니다. 터코위츠는 AI를 적극적으로 도입한 팀에서 사용량과 중요한 업무 결과 사이에 상관관계가 나타났다고 밝혔다.

다만 지침은 이 수치를 신중하게 해석하라고 당부했다. 사용량이 많다는 사실만으로 성과가 높다고 판단해서는 안 되며, 지표를 참고할 때도 판단력을 발휘해야 한다고 했다.

관리자에게는 팀 내 AI 활용도가 하위 10%인 집단과 상위 10%인 집단을 함께 살펴보라고 권고했다. 사용량이 적은 팀에서는 도입이 더딘 이유를 파악하고, 많은 팀에서는 실제 업무 결과도 늘었는지 확인하라는 것이다.

장기 성과는 드러나기까지 시간이 걸리고 다른 요인과 분리해 측정하기도 어렵다. 아마존은 이 때문에 토큰 사용량과 코드 변경·검토 건수 같은 지표를 참고해 왔다고 설명했다.

지침은 AI 활용법이 빠르게 바뀌는 만큼 현재 사용하는 도구만으로 개발자의 역할을 규정하기 어렵다고 봤다. 이에 개발자가 어떤 도구를 썼는지보다 어떤 결과를 냈는지에 초점을 맞췄다.

아마존은 AI 도구에 인간의 판단과 분야별 전문성을 결합하는 ‘르네상스 개발자’를 제시했다. 엔지니어에게 AI를 익혀 일상 업무에 적용하되, 어떤 작업에 도움이 됐고 어떤 작업에는 도움이 되지 않았는지 설명할 수 있어야 한다고 했다.

관리자에게도 직접 AI를 사용해 보고 효과가 있었던 작업과 그렇지 않았던 작업을 팀에 설명하라고 요구했다. 아마존은 제품과 고객을 가까이 이해하는 엔지니어가 AI와 AI 에이전트를 더 효과적으로 활용한다고 밝혔다.

아마존은 AI가 업무에 미치는 영향에 맞춰 엔지니어 직무 지침을 계속 조정할 계획이다.