스노우플레이크, AI 위한 데이터 통합 솔루션 '오픈플로우' 전면 공개

AI 개발에 있어 가장 본질적인 과제로 꼽히는 것은 ‘데이터 통합’이다. 데이터가 많다고 문제가 해결되는 것이 아니라, 다양한 형태로 흩어진 데이터를 빠르고 정확하게 통합하고 처리해야 AI 모델의 정확도를 극대화할 수 있기 때문이다. 미국 클라우드 데이터 플랫폼 스노우플레이크(SNOW)가 이와 같은 딜레마를 해결할 솔루션으로 ‘오픈플로우(Openflow)’를 공식 출시했다.

스노우플레이크는 3일(현지시간) 개최한 연례 개발자 컨퍼런스에서 데이터 수집 자동화 서비스 ‘오픈플로우’를 전면 공개하며, 복잡한 데이터 파이프라인 구축 없이도 대부분의 기업 데이터를 수집하고 정제할 수 있는 AI 데이터 처리 기반을 제공한다고 밝혔다. 스노우플로우는 다양한 소스에서 데이터를 실시간으로 추출해 Snowflake 내에서 통합, 분석 가능한 상태로 전환해준다.

기술적으로 오픈플로우는 아파치 나이파이(Apache NiFi)를 기반으로 하며, 미리 구축된 200여 개 이상의 커넥터를 통해 구글 광고, 마이크로소프트 쉐어포인트, 세일즈포스 데이터 클라우드, 박스(Box) 등의 기업 서비스로부터 데이터를 추출할 수 있다. 또한 Snowflake에 내장된 거버넌스와 보안 기능이 적용돼, 데이터 통합 과정에서도 높은 보안성과 확장성을 유지한다.

크리스 차일드(Chris Child) 스노우플레이크 데이터 엔지니어링 제품 부문 부사장은 “이전에는 단순화를 선택하면 개인화와 유연성에서 손해를 보고, 제어 가능한 파이프라인을 구축하려 하면 복잡성과 인프라 관리 부담이 컸다”며 “오픈플로우는 사용자의 데이터가 존재하는 지점에서 바로 작동하며, 보안성과 거버넌스를 유지한 채 배포 유연성을 제공한다”고 강조했다.

오픈플로우는 기존 Snowpipe와도 연동된다. Snowpipe는 이미 스트리밍 데이터 수집에 활용돼 왔으나, 데이터 ‘로딩’에 중점을 둔 시스템이다. 반면, 오픈플로우는 ‘추출부터 변환, 로딩’까지 전체 ETL 과정 수행이 가능해 하나의 플랫폼에서 AI 분석용 데이터 처리 전 단계를 아우를 수 있다는 점이 가장 큰 장점이다.

박스(Box)의 최고기술책임자 벤 쿠스(Ben Kus)는 “Box AI와의 통합을 통해 오픈플로우는 박스 내부 콘텐츠에 대한 권한 체계를 유지하며 데이터를 스노우플레이크로 이동시킨다”며 “이후 분석된 인사이트를 다시 Box로 전달함으로써 콘텐츠가 점점 더 지능화되는 선순환이 가능하다”고 설명했다.

보안 측면에서도 오픈플로우는 업계 표준 이상의 기능을 지원한다. 역할 기반 권한 제어, 전송 중 암호화, 인증 정보 비공개 저장 등 까다로운 규제 요건을 만족시키며 엔터프라이즈 수요에 부합된다. 스노우플레이크 측은 특히 다양한 채널에서 대규모 데이터를 빠르게 수집해야 하거나 이미지·음성·영상 같은 비정형 데이터를 다루는 기업들에게 높은 가치가 있다고 역설했다.

현재 오픈플로우는 글로벌 유통 및 보안 기업인 어윈(Irwin), 시큐로닉스(Securonix), 워크웨이브(WorkWave) 등에서 활용될 예정이지만, 구체적인 도입 규모는 공개되지 않았다.

앞으로 스노우플레이크는 오픈플로우를 실시간 AI 데이터 전송의 중추로 발전시킬 계획이다. 차일드 부사장은 “각 기업 내 AI 에이전트들이 연동되어 상호 실시간으로 데이터를 주고받는 양방향 AI 통신 체계를 구축하는 것이 다음 목표”라며 “예를 들어 코텍스 에이전트(Cortex Agent)가 서비스나우(ServiceNow) 같은 타 시스템의 에이전트와 데이터를 주고받는 방식”이라고 설명했다. 다만, 정확한 업그레이드 일정은 아직 공개되지 않았다.

오픈플로우는 단순히 데이터를 수집하는 도구 그 이상이다. 복잡한 엔터프라이즈 환경에서 정보를 분석 가능한 자산으로 탈바꿈시키고, 이를 AI에 즉시 활용할 수 있도록 만든다는 점에서 데이터 기반 AI 전략의 핵심 축이 될 가능성이 크다. 스노우플레이크의 이번 행보는 AI 산업의 다음 단계를 위한 데이터 아키텍처 전환이 본격화됐음을 알리는 신호탄이라 할 수 있다.