구글에서 선호하는 출처로 추가

검색 세션 0.23% 증가…메타 AI 실험서 화면 지연도 악화

메타 연구진은 AI 에이전트로 31일간 후보 실험 1097건을 수행했다. 누적 모델의 이용자 시험에서 검색 세션은 0.23% 늘었지만 화면 렌더링 시간은 악화했다.

검색창 아래 제안어가 배열된 스마트폰 화면 / TokenPost.ai

메타 연구진이 AI 에이전트로 만든 검색 제안어 모델을 이용자에게 시험한 결과, 검색 세션 수가 대조군보다 상대적으로 0.23% 늘었다. 다만 검색 화면이 표시되는 시간은 길어졌다.

메타(Meta, $META) 연구진은 18일 공개한 논문에서 이 결과를 발표했다. 실험 대상인 ‘Nullstate’는 이용자가 검색창을 열고 글자를 입력하기 전에 보이는 제안어의 순서를 정하는 모델이다. 논문에 나온 하루 10억건 이상의 처리량은 모델 요청 수로, 이용자 수나 검색 세션 수와는 다른 지표다.

실험 캠페인은 31일간 진행됐다. AI 에이전트는 모델 코드를 수정하고 학습 작업을 실행한 뒤 오프라인 평가를 수행했다. 연구진은 Claude Opus 4.8을 사용해 후보 변경안을 탐색했다.

에이전트는 한 번에 후보 변경안 7개를 병렬로 다루고 결과 변동을 확인하는 작업을 진행했다. 캠페인에서 완료한 후보 실험은 1097건이다.

후보 실험 가운데 325건이 오프라인 평가를 통과해 누적 모델에 반영됐다. 채택률은 29.6%다. 별도의 변동성 측정 작업 155건을 더하면 완료된 실행은 1252건이다.

연구진은 완료된 작업과 실패·재시도를 포함해 약 36만 GPU시간이 들었다고 추산했다. 논문에는 완료 작업 약 5000 job-hour와 실패·재시도 작업 약 600 job-hour가 기록됐다.

논문은 실패·재시도 시도 2798건도 기록했다. GPU 사용에 따른 금전 비용은 공개하지 않았다.

실제 이용자 대상 A/B 테스트는 1주일 넘게 진행됐다. 연구진은 검색 세션 수가 대조군보다 상대적으로 0.23% 늘었고, 95% 신뢰구간은 ±0.15였다고 밝혔다. 연구진은 이를 통계적으로 유의한 개선으로 설명했다.

참여와 이용 유지 등 후속 지표도 개선 방향으로 움직였지만, 연구진은 구체적인 수치를 제시하지 않았다. 이 결과는 검색 세션 수 변화에 관한 것이며 다른 후속 지표의 개선 폭을 뜻하지 않는다.

검색 화면의 렌더링 시간은 같은 시험에서 악화했다. 논문은 지연 폭을 공개하지 않았다.

오프라인 평가를 통과한 후보 325건은 실제 이용자 시험에서 각각 성공한 모델의 수가 아니다. 이는 후보 실험 과정에서 누적 모델에 반영된 변경안 수이며, 이용자 시험은 이 변경안을 반영한 최종 모델로 별도 진행됐다.

앞선 버전은 후보 64건 가운데 10건을 채택해 채택률이 15.6%였다. 연구진은 두 버전의 목표와 탐색 조건이 달라 채택률만으로 성능 향상을 비교할 수 없다고 논문에 적었다.

실험 전 과정을 에이전트가 독자적으로 수행한 것도 아니다. 연구진은 목표와 탐색 방향을 정하고 최종 모델을 검토했으며, 이용자 대상 시험도 별도로 진행했다.

연구진은 캠페인이 끝나기 전에 가장 좋은 모델이 나왔고, 이후 반복 실험은 추가 개선으로 이어지지 않았다고 밝혔다. 실패한 방향을 반복하거나 잘못 채택한 변경을 스스로 되돌리는 데에도 한계가 있었다. 에이전트가 채택하지 않은 수정 결과를 다음 개선에 활용하는 연구도 본지가 앞서 소개했다.

논문은 코드와 데이터를 공개하지 않았다고 체크리스트에 기재했다. 통계 보고 항목에는 ‘No’라고 표시했지만 온라인 지표의 신뢰구간은 제시했으며, 오프라인 변동성은 충분히 정량화하지 못했다고 설명했다.

메타는 같은 날 기술 블로그에서 광고 순위 모델에 에이전트를 적용한 별도 작업도 소개했다. 일부 기법과 모델 조합에서는 학습 연산량이 중앙값 기준 4분의 1 수준으로 낮아졌다고 밝혔다. 이 결과는 검색 제안어 실험과 다른 작업에서 나온 수치다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기