AI 제품 성공의 열쇠는 '올바른 질문'… ML 지표 설정 전략 공개

머신러닝(ML) 제품 매니저로 처음 일했을 때, "이 제품이 실제로 잘 작동하고 있는가?"라는 질문 하나가 여러 부서와 리더들 사이에 뜨거운 토론을 불러일으켰다. 당시 내가 관리했던 제품은 내부 팀과 외부 고객 모두를 대상으로 했으며, 고객이 겪는 주요 문제를 파악하여 이를 해결하는 데 도움을 주는 모델을 기반으로 했다. 다양한 고객 간 얽힌 복잡한 관계를 고려할 때, 제품의 성과를 정확하게 측정할 수 있는 올바른 지표를 설정하는 것이 사업 성공을 좌우했다.

제품의 상태를 모니터링하지 않는 것은 항공관제 지시 없이 비행기를 착륙시키는 것과 같다. 고객을 위한 의사결정을 할 때, 무슨 문제가 발생했는지조차 모르는 상황이라면 성공할 수 없다. 또한 명확한 지표를 설정하지 않으면 팀 각자가 제각기 다른 보조 지표를 만들기 시작한다. '정확도'나 '품질' 같은 개념조차 팀마다 해석이 달라 서로 다른 목표를 추구하게 되는 리스크를 초래할 수 있다.

예를 들어, 연간 목표와 관련 지표를 엔지니어링 팀과 검토했을 때, "이건 비즈니스 지표일 뿐, 우리는 이미 정밀도와 재현율을 측정하고 있다"는 반응이 즉각 나왔다.

제품 성과를 증명할 지표를 설정할 때 첫 걸음은, 무엇을 알고 싶은지를 명확히 규정하는 것이다. ML 제품은 다양한 고객을 상대해야 하기 때문에 모델 성능을 측정하는 방식 또한 복잡해진다. 내부 팀이 우선순위를 조정하는 데 모델이 얼마나 기여했는지 살펴보려 했지만, 그 결과를 확인하는 데 시간이 오래 걸렸다. 반면 고객이 모델이 추천한 해결책을 채택했는지 여부로 성과를 측정하면 표본이 너무 넓어져 정확한 분석이 어려웠다. 이는 고객이 단순히 상담사를 원해 솔루션을 거부했을 수도 있기 때문이다.

오늘날 대규모언어모델(LLM)의 시대에 이르러선 상황이 더욱 복잡해졌다. 모델이 단일 정답뿐 아니라 텍스트, 이미지, 음악까지 다양한 형태의 결과물을 생산하면서, 지표로 측정해야 할 제품의 차원이 빠르게 확장되고 있기 때문이다.

이런 복잡성을 관리하기 위해 내가 항상 따르는 방법은 '고객에게 어떤 영향을 미쳤는지를 질문으로 정리하는 것'이다. 올바른 질문을 정의하면 자연스럽게 올바른 지표도 도출된다. 예를 들어, '고객이 결과를 받았는가?'는 커버리지(coverage)로 측정할 수 있다. '결과를 받는 데 얼마나 걸렸는가?'는 지연시간(latency)으로, '고객이 결과를 마음에 들어 했는가?'는 피드백, 채택률, 유지율 지표로 확인할 수 있다.

질문을 정리한 다음에는 입력(signal)과 출력(output) 신호를 기준으로 부가 질문을 세분화해야 한다. 출력 지표는 과거에 발생한 이벤트를 기록하는 후행 지표고, 입력 지표는 현재 성과를 통해 미래 결과를 예측하는 선행 지표다. 예컨대 고객이 결과물을 좋다고 평가했는지, 결과물이 객관적으로 적절했는지 등을 구분해 측정할 수 있다.

최종 단계는 데이터를 수집하는 방법을 정의하는 것이다. 대부분은 데이터 엔지니어링을 통해 대규모로 자동 수집하지만, 일부 문항은 수작업 평가부터 시작하는 것이 좋다. 예를 들어 결과물이 '좋음', '그저 그럼', '나쁨' 중 어디에 해당하는지를 정의하고 평가하는 기준을 마련하면 이후 자동화 평가 체계로 자연스럽게 발전시킬 수 있다.

이 접근법은 다양한 ML 기반 제품에 유연하게 적용할 수 있다. 예를 들어 검색(Search) 기능을 보면 '고객이 결과를 받았는가'는 검색 결과를 제공한 세션 비율로, '응답 속도'는 고객이 결과를 얻는 데 걸린 시간으로 측정할 수 있다. 또 '결과에 만족했는가'는 고객 피드백과 클릭률을 통해 평가할 수 있다.

마찬가지로 음식 배달, 전자상거래 등에서 메뉴 또는 상품 설명을 자동 생성하는 기능 역시 동일한 프레임워크를 적용해 분석할 수 있다. '생성된 설명이 얼마나 많이 제공되었는가'는 커버리지로, '설명을 생성하는 데 걸린 시간'은 지연시간으로, '생성된 설명이 편집 없이 사용 가능한 수준인가'는 품질 지표로 삼으면 된다.

이처럼 명확한 질문, 입력과 출력 신호에 기반한 세분화, 그리고 효과적인 데이터 수집 방법을 통해 머신러닝 제품에 적합한 지표 체계를 구축할 수 있다. 이러한 체계는 AI 제품이 실제로 고객 가치를 창출하고 있는지 증명하는 데 결정적인 역할을 할 것이다.