메시 엘엘엠, 217피어 공개망서 분산 추론

메시 엘엘엠(Mesh LLM)이 여러 기기의 GPU와 메모리를 묶어 대형 AI 모델 추론을 처리하는 공개 메시 네트워크를 운영하고 있다. 안정판은 28일 한국시간 기준 v0.75.1이며, 공개 메시 접속 예시에는 217피어가 표시됐다.

메시 엘엘엠은 여러 노드의 자원을 하나의 오픈AI(OpenAI) 호환 엔드포인트로 노출하는 분산 추론 시스템이다. 요청은 로컬 기기에서 처리되거나 모델을 보유한 다른 피어로 라우팅되고, 한 기기에 담기 어려운 모델은 여러 노드가 나눠 실행한다.

기술 범위는 엔비디아($NVDA) GPU 전용으로 좁혀 보기 어렵다. 공식 문서상 지원 대상은 엔비디아 CUDA뿐 아니라 AMD ROCm, Vulkan, CPU, 애플(Apple) Metal까지 포함한다.

공식 사이트는 28일 한국시간 기준 안정판으로 v0.75.1을 표시했다. 깃허브(GitHub) 릴리스 목록에는 v0.75.1이 8월 10일 공개됐고, 이후 v0.76.0 계열 선공개 버전도 올라와 있다.

공개 메시의 217피어는 네트워크 규모를 보여주는 참고값이다. 다만 실시간 표시값에 가까워 고정된 이용자 수나 상용 서비스 규모로 해석하기는 어렵다.

구조의 핵심은 큰 GPU를 새로 들이지 않고 이미 보유한 자원을 묶는 데 있다. 아이로(Iroh)는 7월 11일 블로그에서 메시 엘엘엠이 로컬 실행, 피어 라우팅, 멀티노드 파이프라인 분할 등 세 방식으로 요청을 처리한다고 설명했다.

공용 메시는 노드 발견과 연결에도 분산형 구조를 쓴다. 공식 설계 문서는 노스트르(Nostr) 기반 발견과 QUIC·iroh 기반 연결을 설명하며, 중앙 서버 없이 공개·사설 메시를 구성하는 방식을 제시한다.

분산 추론은 AI 모델 실행 작업을 여러 기기나 노드가 나눠 처리하는 방식이다. 오픈AI 호환 API는 기존 오픈AI 클라이언트가 같은 형식으로 다른 추론 서버를 호출할 수 있게 하는 인터페이스를 뜻한다.

크립토 독자에게 이 사안은 단순한 AI 도구 출시보다 분산 인프라 실험에 가깝다. 중앙 클라우드 사업자에 의존하지 않고 커뮤니티나 팀 내부의 하드웨어를 연결해 추론 자원을 구성한다는 점에서, 블록체인 업계가 다뤄온 개방형 네트워크 논리와 맞닿아 있다.

다만 토큰 발행이나 보상 구조를 이 기사의 중심에 둘 근거는 부족하다. 이번 사안의 초점은 암호화폐 발행보다 공개 메시와 공유 컴퓨트가 AI 추론 인프라에서 실제로 작동할 수 있는지에 있다.

블록(Block)의 버즈(Buzz) 프로젝트도 공유 컴퓨트 실험을 진행 중이다. 버즈의 공개 문서는 팀원이 보유한 게임용 PC, 노트북, 워크스테이션의 유휴 GPU를 ‘Share compute’ 기능으로 연결하는 구상을 제시했다.

별도 개발 문서와 이슈 트래커에는 메시 엘엘엠 런타임과 진단 로깅, 데스크톱 공유 컴퓨트 경로가 등장한다. 이는 메시 엘엘엠이 단독 실험에 그치지 않고 커뮤니티 단위 제품 안으로 들어갈 수 있음을 보여준다.

상용 서비스로 보기에는 아직 이르다. 버즈 이슈 트래커에는 리눅스 데스크톱 빌드에서 mesh-llm 기능이 빠져 공유 컴퓨트가 작동하지 않았다는 보고가 올라왔고, 해당 이슈는 이후 닫혔다.

윈도우 빌드와 텍스트 모델 처리, 진단 로그도 별도 추적 항목으로 관리됐다. 기능은 붙고 있지만 운영 안정성과 플랫폼별 배포 검증이 함께 진행되는 단계다.

개발자 커뮤니티의 관심도는 작지 않았다. 해커뉴스(Hacker News)의 아이로 블로그 공유 글은 347포인트와 94개 댓글을 기록했고, 일부 이용자는 설치와 자동 실행 경험을 긍정적으로 언급했다.

이번 흐름은 AI 모델 개방 논쟁과도 맞물린다. 본지는 앞서 AI 사용 비용이 내려가도 전체 컴퓨팅과 전력 수요는 늘어날 수 있다는 분석을 전했다. 메시 엘엘엠은 그 수요를 대형 클라우드 데이터센터만이 아니라 개인과 팀의 하드웨어까지 넓혀 처리하려는 실험으로 볼 수 있다.

메시 엘엘엠의 현재 의미는 엔비디아 GPU 전용 네트워크가 아니라 다중 벤더 하드웨어를 묶는 범용 분산 추론 프레임워크에 있다. 공개 메시와 데스크톱 공유 컴퓨트가 실제 제품 환경에서 얼마나 안정적으로 작동하는지는 이후 릴리스와 연동 프로젝트 배포 결과로 확인될 사안이다.