오픈AI가 코덱스(Codex) 에이전트를 활용해 챗GPT(ChatGPT) 성능 저하 조사 1700건 이상을 추적하고, 600건 넘는 사례의 원인을 규명했다. 자동 조사 건수는 하루 평균 17건이다.
오픈AI(OpenAI)는 19일 공개한 엔지니어링 글에서 내부 시스템 ‘퍼포먼스 팩토리(Performance Factory)’와 첫 적용 사례인 ‘리그레션 워크플로(Regression Workflow)’를 소개했다. 회사가 공개한 조사·진단 수치는 내부 집계다.
◇ 자동 조사에서 근본 원인 검토까지
리그레션 워크플로는 설정된 성능 경보가 발생하면 조사 작업을 만든다. 코덱스 에이전트가 성능 저하의 원인을 조사하고 수정안을 제안한 뒤, 배포 후 회복 여부까지 확인한다.
기존에는 엔지니어가 지표와 로그, 추적 정보를 살펴보고 코드를 읽어 성능 저하 원인을 찾았다. 오픈AI는 이 과정에서 성능 조사 도구가 30개 넘게 쌓였다고 설명했다.
오픈AI는 조사 방법을 코덱스가 재사용할 수 있는 절차로 정리하고, 경보가 클라우드에서 자동 조사를 시작하도록 연결했다. 퍼포먼스 팩토리는 작업 상태와 조사 결과를 별도로 저장해 여러 단계의 작업을 이어가도록 구성됐다.
단계마다 필요한 코덱스 세션을 배정하며, 엔지니어의 검토나 배포가 끝나면 다음 작업을 진행한다. 조사 결과가 한 에이전트의 대화에만 남지 않아 다른 에이전트나 엔지니어가 앞선 내용을 확인할 수 있다.
코덱스는 먼저 어떤 지표가 언제부터 악화됐는지, 어떤 요청이 영향을 받았는지 찾는다. 이어 배포 내역과 설정 변경, 관련 코드와 로그를 대조해 원인을 제안한다.
별도 코덱스 세션은 최초 진단의 가정과 근거를 다시 살피고 다른 설명이 가능한지 검토한다. 오픈AI는 이 절차를 진단에 대한 ‘적대적 검토’라고 설명했다.
한 조사에서 에이전트는 챗GPT 대화 실패의 원인을 이미지 다운로드 오류로 지목했다. 검토 에이전트는 파일 위치를 찾는 내부 서비스가 회복된 뒤에도 이미지 요청이 계속 실패한 점을 발견했고, 최초 진단만으로는 장애가 설명되지 않아 조사를 다시 열었다.
오픈AI는 근본 원인 제안 100건을 수동 검토해 70%를 정확하다고 평가했다. 나머지 30%는 보완이 필요하거나 인과관계가 충분히 입증되지 않은 사례였다. 이 결과는 검토한 100건에 대한 것이며 전체 조사 1700건의 정확도를 뜻하지 않는다.
◇ 수정 배포 뒤 회복 여부도 확인
진단이 검토를 통과하면 코덱스는 수정 코드를 작성해 코드 변경 요청을 열 수 있다. 엔지니어가 변경 내용을 검토하고 병합과 배포를 결정한다.
수정안도 별도 검토를 거친다. 오픈AI는 에이전트가 필요 이상으로 복잡한 변경을 제안하거나 새 문제를 만들 수 있다고 설명했다. 예를 들어 캐시를 추가하면 응답은 빨라져도 오래된 데이터가 남을 수 있다.
배포 뒤에는 다른 에이전트가 성능이 기존 수준으로 돌아왔는지 확인한다. 개선이 불완전하거나 문제가 계속되면 작업은 추가 조사 단계로 돌아간다.
조사 결과가 쌓이면 엔지니어가 읽고 판단할 정보도 많아진다. 오픈AI는 관련 사건을 묶고 예상 영향에 따라 정렬해 검토 부담을 줄이는 방안도 소개했다.
오픈AI는 경보가 울리기 전 성능 저하를 찾는 사전 모니터링과 일부 저위험 수정안의 자동 배포를 탐색하고 있다고 밝혔다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular