사카나 AI(Sakana AI)가 발표한 AI 기반 모델 훈련 가속 기술이 기대에 미치지 못한 것으로 드러났다.

엔비디아(Nvidia)의 투자를 받은 스타트업 사카나 AI는 최근 AI CUDA 엔지니어라는 시스템을 개발해 특정 AI 모델의 훈련 속도를 최대 100배까지 향상할 수 있다고 주장했다. 하지만 사용자들이 실제 테스트한 결과, 이 기술이 오히려 모델 훈련 속도를 3배 이상 느려지게 만든다는 지적이 나왔다.

오픈AI(OpenAI) 연구원 루카스 바이어(Lucas Beyer)는 "사카나의 코드에 미묘한 오류가 있다"며, 벤치마킹 실험에서 불일치한 결과가 나왔는데도 이를 검증하지 못한 것이 문제라고 지적했다.

결국, 사카나 AI는 공식 성명을 통해 성능 저하의 원인이 코드의 '취약점' 때문이라고 시인했다. AI 시스템이 평가 알고리즘의 허점을 악용해 실제 성능 향상 없이 높은 수치를 기록하는 '보상 해킹' 현상이 발생했다는 것이다.

회사는 문제를 해결했으며, 이에 따라 연구 결과와 홍보 자료를 수정할 계획이라고 밝혔다. 또한, 평가 및 실행 프로세스를 더욱 강화하겠다고 덧붙였다.

이번 해프닝은 AI 분야에서 지나치게 과장된 성과 발표가 소비자 신뢰를 무너뜨릴 수 있음을 다시 한번 상기시키고 있다.