구글에서 선호하는 출처로 추가

칭화대 연구실에서 홍콩 상장까지…중국 AI 기업 즈푸의 성장 경로

즈푸가 칭화대 연구 성과의 사업화와 자체 GLM 모델 개발·공개를 거쳐 중국 주요 AI 기업으로 성장했다는 분석이 나왔다.

존 와이 아시아노메트리 운영자 / 아시아노메트리 영상 갈무리

중국 AI 기업 즈푸의 성장 배경에는 대학 연구를 제품으로 연결한 사업화 경험과 자체 대형 언어모델 개발이 있었다는 분석이 나왔다. 챗GPT 등장 이전에 추진한 GLM 모델 개발과 공개 전략이 기술 기반을 쌓는 계기가 됐다는 설명이다.

11월 1일(현지시간) 아시아노메트리 영상에서 해당 채널 운영자인 존 와이는 올해 초 홍콩증권거래소에 상장한 즈푸의 설립 과정과 GLM 모델 개발사를 짚었다. 존 와이는 즈푸가 칭화대 연구실에서 출발해 연구 성과를 상용화하고, 자체 기반 모델을 개발하는 기업으로 성장했다고 설명했다.

즈푸의 출발점은 칭화대 지식공학 연구진이 개발한 학술정보 검색·분석 서비스 에이마이너였다. 연구자 정보를 추출해 지식 그래프와 순위를 구축하는 서비스로, 연구팀은 2015년부터 민간기업과 협력하며 수익을 얻기 시작했다는 설명이다. 그는 연구실에 논문을 제품으로 연결하는 문화가 있었으며, 대학 연구 성과의 사업화를 둘러싼 협상을 거쳐 2019년 6월 즈푸가 정식 설립됐다고 전했다.

장펑이 자체 대형 언어모델 개발에 주목한 계기는 2020년 등장한 GPT-3였다고 존 와이는 설명했다. 문장 구조를 분석하는 복잡한 처리 절차 없이도 뛰어난 문장 생성 성능을 보였기 때문이다. 그는 장펑이 이를 기술적 돌파구로 받아들였고, 공동창업자들의 지원 아래 수십억 개의 매개변수를 갖춘 이중언어 모델 개발을 추진했다고 전했다.

공동창업자 탕제는 중국 여러 대학의 과학자 약 100명이 참여한 정부 지원 초대형 모델 연구인 우다오를 이끌었다고 그는 설명했다. 이 과정에서 등장한 GLM은 앞선 문맥을 바탕으로 다음 요소를 생성하는 GPT와 빈칸 주변의 문맥을 활용하는 BERT의 접근법을 결합했다는 것이다. 존 와이는 "GLM은 두 방식을 결합한다"며 "주변 문맥을 활용해 빈칸을 채우되, 토큰을 하나씩 생성한다"고 설명했다.

2022년 개발한 GLM-130B는 학습 과정에서 하드웨어 고장과 메모리 사용량 급증 등 여러 문제를 겪었다고 그는 전했다. 최종 학습은 같은 해 5월 엔비디아 A100 기반 서버 96대에서 시작돼 7월 완료됐으며, 연산 비용은 약 400만 위안, 전체 비용은 약 1000만 위안이었다는 설명이다. 존 와이는 연구팀이 단일 A100 기반 서버에서 구동할 수 있는 모델을 목표로 삼았다고 덧붙였다.

모델 공개에는 당장 비공개 모델로 수익을 내기 어렵다는 판단과 연구 성과를 공유하려는 문화가 작용했다고 그는 설명했다. GLM-130B는 2022년 11월 스탠퍼드대가 12개 제공업체의 주요 모델 30개를 비교한 평가에 중국 모델로는 유일하게 포함됐지만, 당시 투자자들의 반응은 미온적이었다는 것이다. 존 와이는 같은 달 챗GPT가 등장하면서 상황이 달라졌다며, 오랫동안 주목받지 못했던 AI 연구가 대중의 관심을 받는 전환점을 맞았다고 평가했다.

TokenPost AI 유의사항 TokenPost.ai 기반 언어 모델을 사용하여 작성된 기사입니다. 본문의 주요 내용이 제외되거나 사실과 다를 수 있습니다.
오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기