로봇 계획·동작 분업…앤트로픽 평가서 응답속도 격차

Dyna Robotics는 2026년 9월 29일 장시간 작업 계획과 로봇 동작 실행을 나눈 시스템 Dyna-2.1을 공개했다. 시스템은 시각·언어 모델 오케스트레이터, Dyna-2 정책, 별도 전신 컨트롤러로 구성됐다.

회사는 Dyna-2.1 기술 문서에서 오케스트레이터가 다음 단계를 정하고, Dyna-2 정책이 동작 목표 궤적을 만들며, 전신 컨트롤러가 관절 목표값과 바퀴 속도를 초당 100회 제어한다고 설명했다.

오케스트레이터는 세탁기 작동 여부와 접은 수건 수 같은 작업 상태를 텍스트로 기록해 다음 판단에 반영한다. 이 메모리는 진행 상황을 이어주는 기능으로, 기록을 추가하는 것만으로 동작 정책이 새 기술을 학습했다는 의미는 아니다.

구글 딥마인드는 2026년 7월 30일 제미나이 로보틱스 2와 제미나이 로보틱스 ER 2, 제미나이 로보틱스 온디바이스 2를 소개했다. 회사가 공개한 구성에서 시각·언어·행동(VLA) 모델은 입력을 행동 제어로 바꾸고, 추론 모델은 물리 환경을 이해해 여러 단계 작업을 계획하며, 온디바이스 모델은 로봇 기기에서 실행된다(발표문).

피겨 AI의 헬릭스는 두 계층의 작동 주기를 구분한다. 회사는 헬릭스 발표에서 장면과 언어를 이해하는 시각·언어 모델이 초당 7~9회, 연속 동작을 만드는 시각운동 정책이 초당 200회 작동한다고 밝혔다.

헬릭스의 작동 주기는 해당 시스템의 설계값이다. 앤트로픽 평가의 응답률이나 다른 로봇 시스템의 성능과 직접 비교할 수 있는 공통 지표는 아니다.

언어·시각 지식과 로봇 동작을 한 모델 계열에 결합한 연구도 있다. 구글 딥마인드는 2023년 RT-2를 발표하며 웹 규모 데이터로 사전학습한 시각·언어 모델에 로봇 시연 데이터를 결합했고, 6000회가 넘는 로봇 시험에서 기존 기준 모델보다 처음 접한 작업의 일반화 성능이 3배 넘게 개선됐다고 보고했다(RT-2 발표).

Dyna Robotics는 Dyna-2를 100만 시간 넘는 사람 시점 영상으로 사전학습했다고 밝혔다. 회사가 제시한 연구에서는 사람 영상 데이터가 늘수록 별도로 평가한 로봇 데이터의 예측 성능도 개선됐다.

100만 시간은 사람이 촬영한 영상의 길이다. 로봇이 실제로 움직인 시간이나 로봇 시연 데이터의 규모를 뜻하지 않는다.

따라서 로봇 모델을 대규모언어모델(LLM)이 대체하는지 묻기 전에 무엇을 로봇 모델이라고 부르는지 나눠 볼 필요가 있다. 공개된 사례에는 작업 계획을 맡는 모델, 동작을 생성하는 정책, 저수준 제어를 하는 계층이 함께 등장하고, 일부 연구는 지식과 행동 출력을 한 모델 계열에 결합한다.

저수준 제어의 응답 속도는 별도의 과제로 남아 있다. 앤트로픽은 2026년 7월 로봇 제어 평가에서 사족보행 로봇의 저수준 제어에 초당 약 83회의 응답이 필요하다고 제시했지만, 당시 비추론 모델의 응답은 초당 약 0.2~0.4회였다고 보고했다.

직접 제어 시험은 모델 응답을 기다리는 동안 시뮬레이터를 멈추는 방식으로 진행됐다. 따라서 이 결과를 실제 로봇의 실시간 제어 성능을 측정한 것으로 읽거나, 모든 LLM의 제어 능력으로 확대해서는 안 된다.

같은 평가에서 앤트로픽은 언어모델이 사전학습된 로봇 정책을 감독할 때 일부 이동·물체 조작 과제를 수행한 사례도 보고했다. 모델이 관절을 직접 제어한 시험과 기존 정책을 감독한 시험은 조건이 다르다.

사람의 시연을 로봇 정책에 옮기는 데이터 수집 방식도 연구되고 있다. UMI 연구는 사람과 로봇의 신체 차이, 동작 정밀도, 추론 지연을 설계 문제로 다뤘다(논문).

시뮬레이션 장면을 더 사실적으로 만드는 것과 실제 물리 결과를 정확히 예측하는 것도 별개의 문제다. 한 로봇 시뮬레이션 연구는 일부 시각 내비게이션 과제에서 충실도를 높여도 실제 환경으로의 전이가 개선되지 않았고, 느린 시뮬레이션과 물리 모델 오차에 대한 과적합이 성능을 해칠 수 있다고 보고했다(연구). 연구진이 다룬 과제에 따른 결과여서 모든 시뮬레이터에 일반화할 수는 없다.

본지는 앞서 월드 ID를 통합한 피크OS가 약품 배송 로봇 시연을 공개한 사례를 보도했다.

Dyna Robotics는 Dyna-2.1을 고객 현장에 투입하는 일을 다음 단계로 제시했다. 공개된 사례들은 계획, 동작 생성, 저수준 제어를 나누거나 결합하는 여러 설계를 보여준다.