생성형 AI의 부상은 머신러닝(ML)의 적용 범위를 넓히는 결정적인 전환점이 되었다. 그러나 모든 업무에 대규모 언어모델(LLM) 같은 복잡한 AI 도구가 필요한 것은 아니다. 프로젝트 관리자는 AI 도입 여부를 판단할 때 고객 요구와 기술의 적합성을 정교하게 따져야 한다. 무분별한 도입은 오히려 비용 부담이나 정확도 저하 등 부작용을 초래할 수 있기 때문이다.
기술적으로 LLM은 과거와 달리 전체 학습 데이터를 필요로 하지 않고 일정한 입력 값을 기반으로도 활용할 수 있다. 그럼에도 불구하고 AI가 항상 최적의 해답은 아니다. 특히 LLM은 높은 비용이 들 수 있으며, 원하는 정밀도를 충족하지 못하는 경우도 많다. 따라서 AI 도입 여부는 단순한 ‘긍정’이 아닌, 구체적인 평가 기준을 통해 판단해야 한다.
가장 핵심적인 판단 요소는 크게 네 가지로 요약된다. 첫 번째는 ‘입력과 출력’. 예컨대 스포티파이의 자동생성 플레이리스트는 사용자 선호도, 좋아요 표시한 곡, 자주 듣는 장르 등 다양한 입력 자료를 기반으로 출력 결과를 만든다. 두 번째는 입력 및 출력의 조합 형태다. 동일한 입력에 대해 동일한 결과를 얻는 반복 작업이라면 규칙 기반 시스템으로 충분하지만, 입력값의 조합이 다양해질 경우 ML이 더 효과적일 수 있다.
세 번째는 입력과 출력 내 존재하는 *패턴*이다. 입력과 출력 사이에 명확한 상관관계가 존재하면, 감독 학습이나 반감독 학습 기반의 ML 모델이 적합할 수 있다. 반면, 패턴이 모호하거나 존재하지 않는다면 LLM의 일회성 활용이 더 적절할 수 있다. 마지막은 비용과 정밀도 문제다. 대규모 LLM 호출은 운영상 큰 비용이 발생할 수 있으며, 정답 도출의 정확도도 완벽하지 않다. 이때는 분류기 기반 모델이나 규칙 기반 시스템이 더 현실적인 대안이 될 수 있다.
구체적인 사례를 보면 차이는 더 명확해진다. 동일 입력에 대해 동일 결과를 원하는 단순 반복 작업은 ML 없이 규칙 기반 처리로도 충분하다. 반대로 검색처럼 입력값에 따라 무한한 출력이 필요한 경우에는 ML, 특히 *추천 알고리즘*과 RAG(검색 기반 생성 모델)가 필수적이다. 감성 분석이나 수많은 리뷰 요약처럼 다양한 입력을 유사 출력으로 처리해야 하는 경우는 일정한 패턴이 존재할 때 ML이 효과적이며, 복잡성에 따라 분류기, 주제 모델링, LLM까지 폭넓은 선택지가 존재한다.
결론적으로 어떤 고객 요구든 무조건 AI가 정답은 아니다. 좋지 못한 선택은 비용만 증가시키고 비효율적인 결과를 낳는다. 좋은 가위만으로도 충분한 상황에서 굳이 *광선검*을 꺼낼 필요는 없다. 정밀도, 비용 효율성, 반복성, 패턴 유무 등을 기준으로 세밀하게 판단하는 접근이, AI 활용에서 진정한 성공을 이끄는 핵심이다.