기밀컴퓨팅 베타 공개…코히어, 애저·H100 활용

코히어(Cohere)가 10월 22일 기업용 AI 서비스 Model Vault의 기밀 컴퓨팅 기능을 공개 베타로 내놨다. 민감한 요청을 처리할 환경을 고객 측 프로그램이 사전에 검증하도록 한 서비스다.

코히어는 공식 발표에서 마이크로소프트(Microsoft, $MSFT)의 애저(Azure) 인프라와 엔비디아(NVIDIA, $NVDA)의 H100 GPU를 사용한다고 밝혔다. 요청을 처리하는 동안 하드웨어와 소프트웨어 구성을 확인해 승인된 보안 정책에 맞는 환경에서만 작업이 이뤄지도록 설계했다.

고객 측 프로그램은 요청을 보내기 전에 처리 환경의 하드웨어·펌웨어·소프트웨어 구성을 정책과 대조한다. 구성이 정책을 충족하지 못하면 프로그램은 요청을 보내지 않는다.

요청 내용은 인증된 기밀 실행 환경 안에서만 복호화된다. 코히어는 추론 중 GPU 메모리를 보호하고 CPU와 GPU 사이의 통신도 암호화한다고 설명했다.

코히어가 적용 대상으로 제시한 자료는 금융 정보, 임상 기록, 법률 문서와 자체 소스코드 등이다. 다만 기밀 컴퓨팅이 애플리케이션 보안이나 규정 준수, 데이터 보관 지역에 관한 요건을 대신하지는 않는다고 회사는 밝혔다.

이번 공개 베타는 코히어가 엔비디아의 기밀 컴퓨팅 방안을 Model Vault에 통합할 계획이라고 본지가 앞서 전한 내용이 제품 공개로 이어진 사례다. 기존 Model Vault의 전용 모델 추론 서비스를 민감한 업무에도 활용할 수 있도록 기능을 추가했다.

에이단 고메즈(Aidan Gomez) 코히어 CEO는 2025년 6월 5일 공개된 인터뷰에서 “지난 8년 동안 달라진 것이 얼마나 적은지 놀랍다”고 말했다. 자신이 공동 저자로 참여한 트랜스포머 논문과 당시 학습 중이던 모델의 구조가 비슷해 보인다는 취지였다.

고메즈는 트랜스포머에 맞춘 인프라가 이미 많이 구축됐고, 칩도 해당 구조에 최적화돼 있다고 설명했다. 다른 구조로 옮기려면 시스템을 다시 설계해야 하는 만큼 전환에 많은 작업이 든다는 것이다.

그는 상태공간모델(SSM) 등 대안 연구에서 나온 아이디어가 트랜스포머에도 반영됐다고 말했다. 따라서 인터뷰의 ‘8년’은 구조가 완전히 바뀌지 않았다는 의미로 확대하기 어렵다.

같은 인터뷰에서 고메즈는 고객지원과 챗봇 같은 기업용 활용을 검토한 뒤 코히어가 기업용 AI 회사가 됐다고 회고했다. 이 발언은 코히어의 사업 선택을 설명한 것이다.

고메즈가 언급한 트랜스포머 논문 「Attention Is All You Need」는 2017년 6월 12일 arXiv에 공개됐으며, 저자 목록에 고메즈가 포함돼 있다. 인터뷰의 ‘8년’은 논문 공개 시점과 인터뷰 당시를 가리킨다.

트랜스포머 대안 연구도 이어지고 있다. 2026년 3월 공개된 Mamba-3 논문은 상태공간모델 계열의 개선을 제시했으며, 이 모델 계열은 입력의 상태를 단계적으로 갱신해 정보를 처리한다.

연구진은 이론상 연산량이 적은 모델도 실제 하드웨어에서는 비효율적일 수 있다고 지적했다. 이 연구는 대안 설계를 다룬 결과로, 트랜스포머가 산업에서 대체됐다는 근거는 아니다.

코히어가 의뢰하고 IDC가 수행한 조사에는 2026년 4∼5월 캐나다·미국·영국·독일에서 AI 구매를 담당하는 디렉터급 이상 기업 리더 500명 이상이 참여했다. 응답자들은 데이터 유출과 규정 준수를 주요 우려로, 비용과 인프라를 도입 장벽으로 제시했다.

코히어 의뢰로 진행된 조사인 만큼 결과를 업계 전체를 대표하는 독립 통계로 일반화하기는 어렵다. Model Vault의 기밀 컴퓨팅 기능은 공개 베타로 제공되며, 고객은 암호화된 볼트를 만들고 기존 Cohere API로 연동할 수 있다.