퍼셉트론, 80만 노드 데이터 저장 인프라로 월러스 도입

누구나 AI의 미래에 기여할 수 있도록 하는 분산형 인텔리전스 인프라 기업 퍼셉트론이 AI를 위한 데이터 플랫폼 월러스를 자사 기업용 데이터 제품군의 저장 인프라로 도입한다고 23일 밝혔다. 이번 통합으로 전 세계 80만 개 이상의 노드로 구성된 퍼셉트론 플랫폼에 데이터 출처를 검증하고 늘어나는 데이터를 저장할 수 있는 기반이 마련된다. 퍼셉트론은 에이셔, 카이코 AI, 허브, 에버린 AI 등을 고객사로 두고 있다.

퍼셉트론은 누구나 AI 발전에 기여할 수 있도록 자율 에이전트와 사람의 참여, AI 기반 데이터 처리를 결합한 네트워크를 운영하며 이를 통해 AI 개발자와 기업을 위한 고부가가치 데이터셋을 수집·가공·배포한다. 월러스의 데이터 검증 기능과 프로그래밍 가능한 접근 제어는 퍼셉트론의 차세대 기업용 데이터 제품을 뒷받침할 기반이 될 것으로 기대된다.

월러스 선택 이유

퍼셉트론은 지금까지 중앙화된 스토리지 제공업체를 이용해 왔으나 데이터 출처를 검증하는 데 한계가 있었다. 이는 기업용 데이터 활용 과정에서 반복적으로 제기돼 온 과제로 특히 규제 준수와 데이터 조달 요건이 엄격한 산업에서 중요하게 다뤄진다.

월러스는 각 데이터셋에 검증 가능한 식별자와 변경 불가능한 이력을 부여해 헤지펀드와 퀀트 연구자, 기업 고객이 데이터 무결성을 직접 검증할 수 있도록 한다.

또한 중앙화된 클라우드 스토리지의 비용 구조에서 비롯되는 부담도 줄인다. 중앙화된 클라우드에서는 데이터가 쌓일수록 저장 비용이 불어나고 데이터를 외부로 전송할 때마다 데이터 반출 요금인 이그레스 비용이 발생한다. 이러한 비용은 퍼셉트론이 네트워크를 확장하는 과정에서 부담으로 작용해왔다.

피터 앤서니 퍼셉트론 공동창립자 겸 CEO는 "탈중앙화된 데이터 수집 레이어에는 탈중앙화된 스토리지 레이어가 필요하다. 그렇지 않으면 구조적으로 맞지 않는다"며 "월러스가 제공하는 검증 가능한 데이터 출처 증명은 기업 고객이 퍼셉트론의 시그널을 바탕으로 의사결정을 내릴 때 꼭 필요한 요소"라고 말했다.

차세대 기업용 데이터 서비스의 기반

현재 퍼셉트론의 기여자들은 유휴 대역폭을 공유하고 있으며 네트워크는 이를 활용해 공개된 데이터를 수집한다. 향후 출시 예정인 '데이터 퀘스팅 플랫폼'에서는 기여자들이 이미지 주석 작업과 데이터셋 라벨링을 수행하거나 구조화된 데이터를 네트워크에 직접 제출하는 등 능동적으로 작업에 참여할 수 있다.

이처럼 데이터 공급이 확대되면 구조화되고 검증 가능한 실시간 데이터에 대한 수요에 대응할 수 있다. 특히 데이터 조달과 규제 준수에 엄격한 기준이 적용되는 기업 고객의 수요를 충족하는 데 도움이 된다. 월러스는 권한 기반 접근 제어와 데이터 출처 검증 기능을 갖춘 저장 인프라로서 퍼셉트론이 이러한 수요에 맞춰 서비스를 확장하도록 지원한다.

킴벌리 로건 월러스 재단 제품 총괄은 "데이터를 검증할 수 있다는 점은 기업 고객에게 서비스를 제공하는 기업의 새로운 경쟁력으로 떠오르고 있다"며 "헤지펀드, 퀀트 연구자, AI 기업은 실시간 인텔리전스에 의존하고 있으며 해당 데이터의 무결성을 증명해야 할 필요성도 점점 커지고 있다"고 설명했다. 이어 "AI의 다음 승부처는 데이터가 될 것이다. 에이전트 기반 시스템이 단순한 신뢰가 아닌 증명을 요구하면서 월러스의 데이터 검증 기능은 필수 요소가 되고 있다"고 덧붙였다.

데이터 마켓플레이스로 확대

월러스와의 연동으로 퍼셉트론은 고부가가치 실시간 데이터셋마다 출처 증명을 제공하는 마켓플레이스를 운영할 기반도 갖추게 된다. 기업들이 AI 시스템을 학습시키고 운영하는 데 독자적 데이터를 점점 더 많이 활용하면서 검증 가능한 출처 정보는 데이터 제품을 구성하는 요소로 자리 잡고 있다.

퍼셉트론에 대한 자세한 내용과 월러스가 AI 및 온체인 금융 데이터를 검증 가능한 형태로 지원하는 방식은 각 공식 웹사이트에서 확인할 수 있다.

자주 묻는 질문

질문. 데이터가 월러스에 저장되면서 퍼셉트론의 엔터프라이즈 고객에게는 어떤 변화가 생기는가?

답변. 고객이 구매하는 모든 데이터셋에 검증 가능한 식별자와 변경 불가능한 이력이 부여된다. 헤지펀드나 AI 연구소는 데이터가 온전하다는 퍼셉트론의 설명에 의존하는 대신 월러스에 저장된 데이터의 변경 여부를 직접 확인할 수 있으며 컴플라이언스 검토 시 해당 기록을 근거로 제시할 수 있다.

질문. 월러스는 중앙화된 제공업체 없이 어떻게 데이터 가용성을 유지하는가?

답변. 데이터셋은 인코딩된 뒤 탈중앙화된 스토리지 노드 네트워크에 분산 저장되기 때문에 전체 노드의 최대 3분의 1이 장애를 일으키더라도 데이터를 계속 이용할 수 있다. 1MB 미만 파일 기준 조회 속도는 약 800밀리초 수준이며 현재 네트워크에는 인코딩 전 기준 500TB 이상의 데이터가 저장돼 있다.

질문. 다른 데이터 제공업체도 같은 방식으로 월러스를 활용할 수 있는가?

답변. 그렇다. 컴플라이언스 요건이 엄격한 산업에 데이터를 판매하는 기업이라면 '자사 제품이 변조되지 않았음을 증명할 수 있는가'라는 퍼셉트론이 마주했던 것과 같은 질문에 직면한다. 월러스는 시장 데이터 피드, 학습용 코퍼스, 리서치 데이터셋에도 동일하게 적용할 수 있으며 기존 파이프라인을 재구축하지 않고도 통합할 수 있다.