해비탯 읽기 p50 지연 120→10ms…오픈AI, 12배 개선

최윤서 기자 2026.10.24 04:27

오픈AI가 내부 저장 플랫폼 해비탯의 전 세계 읽기 요청 중간 지연시간을 약 120ms에서 약 10ms로 줄였다고 밝혔다. 챗GPT 전체 응답시간이 12배 빨라졌다는 뜻은 아니다.

토포AI로 이 기사 더 깊이 읽기

해비탯 읽기 p50 지연 120→10ms…오픈AI, 12배 개선 / TokenPost.ai

오픈AI(OpenAI)가 내부 온라인 저장 플랫폼 해비탯(Habitat)의 전 세계 읽기 요청 p50 지연시간을 약 120밀리초(ms)에서 약 10ms로 줄였다고 밝혔다. 회사가 제시한 개선 폭은 12배지만, 챗GPT의 답변 생성 시간을 포함한 전체 응답 속도를 뜻하지는 않는다.

오픈AI는 23일(현지시간) 공개한 기술 문서에서 지역별 데이터 배치와 캐시 구축, 서비스 일부의 Rust 전환을 성능 개선 조치로 들었다. 해비탯은 챗GPT와 API, 코덱스(Codex), 내부 서비스가 데이터를 읽고 쓰는 데 사용하는 저장 플랫폼이다. p50은 요청을 지연시간 순으로 배열했을 때 가운데에 해당하는 값이다.

요청을 처리하는 컴퓨팅 자원과 데이터가 서로 다른 지역에 있으면 왕복 시간이 길어질 수 있다. 오픈AI는 인증 메타데이터 등 매 요청에 필요한 일부 데이터를 여러 지역에 복제했다. 모든 데이터를 같은 방식으로 복제하기에는 저장 용량과 데이터센터 공간에 제약이 있다고 설명했다.

그 밖의 읽기 요청에는 요청 처리 인프라 가까이에 밸키(Valkey) 캐시를 뒀다. 자주 조회하는 데이터를 가까운 곳에 저장해 원격 저장소까지 왕복하는 일을 줄이는 방식이다. 해비탯 요청의 90% 이상이 읽기 요청이라는 점도 캐시 도입의 배경이다.

캐시에 오래된 데이터가 남지 않도록 애저 코스모스 DB(Azure Cosmos DB)의 변경 피드를 활용했다. 원본 데이터가 바뀌면 변경 사실을 각 지역에 전파해 해당 캐시를 무효화하고, 다음 조회 때 최신 값을 다시 가져오도록 했다. 오픈AI는 캐시 무효화가 전 세계에 수초 안에 전파된다고 밝혔다.

해비탯 서비스 일부는 Python에서 Rust로 다시 작성했다. 오픈AI는 지역 간 데이터 배치와 캐시, Rust 전환 등 여러 조치를 함께 적용한 결과 지연시간이 줄었다고 설명했다. 각 조치의 기여도와 비교 전후 측정 기간, 지역별 지연시간 분포는 공개하지 않았다.

컨테이너 운영 방식도 바뀌었다. 오픈AI는 여러 제품의 데이터를 한 컨테이너에 담는 방식에서 제품별 전용 컨테이너로 옮겼다가, 용량 계획과 운영 부담을 고려해 공유 컨테이너를 기본으로 쓰는 방식으로 돌아왔다.

공유 구조에서 특정 작업이 자원을 지나치게 쓰는 문제를 줄이기 위해 핫 키의 요청을 제한하고, 오프라인 작업의 우선순위를 낮춰 대화형 요청을 보호하는 등의 조치를 적용했다. 오픈AI는 다중 테넌시 지원이 아직 초기 단계라고 밝혔다.

오픈AI는 9월 11일 공개한 1부 문서에서 해비탯이 초당 7000만 건 이상의 요청을 처리하고 500페타바이트(PB) 이상의 데이터를 다룬다고 밝혔다. 또 해비탯이 매주 10억 명 이상이 사용하는 제품을 지원한다고 설명했다. 이는 플랫폼 전체 규모를 나타내며 이번 읽기 지연 수치와 집계 대상이 다르다.

캐시에 없는 데이터는 여전히 원격 저장소에서 가져와야 한다. 오픈AI는 데이터가 처음 저장될 때부터 실제 조회가 이뤄질 지역에 더 가깝게 배치하는 문제를 앞으로 다룰 계획이라고 밝혔다.