그래스 창업자, AI 실시간 정보 처리에 지역 노드 보강 필요

그래스(GRASS) 창업자는 AI 추론 중 최신 웹정보를 가져오려면 요청이 몰리는 지역의 노드와 응답 속도가 중요하다고 밝혔다. 학습용 데이터 수집은 늦출 수 있지만, 이용자의 질문에 답하는 동안 필요한 정보는 기다리기 어렵다는 설명이다.

안드레이 라돈지치(Andrej Radonjic) 윈드랩스(Wynd Labs) 공동창업자 겸 CEO는 20일 공개된 델파이 팟캐스트(The Delphi Podcast) 대담에서 “추론 단계에선 기다릴 여유가 없다”고 말했다. 그의 발언은 학습 자료 수집과 실시간 정보 조회에 필요한 시간 조건이 다르다는 취지다. 대담 페이지는 델파이벤처스(Delphi Ventures)가 그래스에 투자했고 그래스 토큰을 보유한다고 공개했다.

그래스는 이용자가 동의해 제공한 가정용 인터넷 대역폭으로 공개 웹 데이터를 수집한다. 이용자가 제공하는 인터넷 연결 지점은 노드라고 부른다.

라돈지치는 일부 웹사이트가 자동 접속 주체를 구별하기 어려워 데이터센터 IP를 일괄 차단하는 경우가 있다고 설명했다. 그는 이런 접근 제약에 대응하는 방식으로 여러 지역의 가정용 연결을 활용한다고 말했다.

학습은 모델을 훈련하기 위해 자료를 모으는 과정이고, 추론은 학습을 마친 모델이 질문에 답하거나 작업을 수행하는 단계다. 학습용 자료 수집은 특정 지역의 연결이 혼잡해도 늦춰서 진행할 수 있지만, 추론 중에는 이용자에게 답을 내놓기 위해 최신 정보를 찾아야 한다.

그래스는 9월 28일 공식 설명문에서 학습 데이터를 첫 제품으로 설명하고, 장기 목표로 AI가 세계의 정보를 실시간으로 활용하도록 하는 구상을 제시했다. 회사는 모델이 학습을 마친 뒤에는 웹의 새로운 정보를 반영하기 어렵다며, 같은 인프라를 추론 시점의 웹 접근에도 활용하는 것을 다음 단계로 들었다.

라돈지치는 특정 지역에서 실시간 정보 요청이 몰려 노드가 포화되면 그 지역의 참여 노드를 늘려야 한다고 말했다. 대담에서 설명한 병목은 요청이 집중되는 지역의 노드 수요이며, 네트워크 전체가 포화됐다는 뜻은 아니다.

그는 일반적인 AI 에이전트가 한 차례 웹 접근에서 보통 5~50개 페이지를 찾고, 더 깊은 추론에서는 그보다 많은 페이지가 필요할 수 있다고 말했다. 이는 에이전트가 맥락을 모으는 과정에서 필요한 웹페이지 수에 관한 설명이다.

라돈지치는 콘텐츠 API(Contents API)를 공개했다고 소개했다. 이 API는 웹페이지 주소를 입력하면 그래스 네트워크의 연결을 통해 해당 페이지 내용을 가져오는 방식이다.

이용자는 콘텐츠 API에서 접속할 국가를 지정하고, 결과를 마크다운이나 일반 텍스트로 받을 수 있다. 라돈지치는 웹페이지 요청과 브라우저 처리 등을 하나의 API 호출로 묶었으며, 모델에 필요한 토큰을 줄이는 기능도 포함했다고 설명했다.

웹페이지 주소를 미리 알지 못하는 요청에는 검색 기능이 필요하다. 그래스는 검색 API(Search API)를 다음 제품으로 제시했으며, 회사 설명문은 웹을 더 넓게 색인해 AI 모델이 정보를 찾고 페이지 내용을 가져오도록 하는 구상을 담았다.

라돈지치는 과거 실시간 데이터 제품을 출시하려면 현재보다 훨씬 많은 노드가 필요하다고 봤지만, 인프라 최적화로 예상보다 적은 노드로 더 많은 작업을 처리하게 됐다고 말했다. 이에 따라 제품 출시 일정도 당초 계획보다 앞당겼다고 설명했다.

응답 지연은 계속 개선해야 할 과제로 꼽았다. 라돈지치는 세계 각지의 수백만 IP를 거쳐 웹 요청을 보내면 시간이 더해진다며 속도를 높이는 작업을 진행 중이라고 밝혔다.

본지가 앞서 다룬 AI 데이터센터 사이의 장거리 광섬유망 확장은 데이터센터를 잇는 전송망을 다뤘다. 이번 대담에서 라돈지치가 설명한 것은 웹페이지에 접근할 때 활용하는 지역별 가정용 연결 노드다.