휴머노이드 5종 동작 변환…엔비디아 SOMA 활용법 소개

엔비디아(NVIDIA·$NVDA)가 사람의 움직임을 휴머노이드 로봇 5종의 관절 궤적으로 바꾸는 SOMA Retargeter 활용 절차를 소개했다. 변환 결과는 로봇 학습이나 제어에 쓰는 참조 동작으로, 그 자체가 실물 로봇의 안전한 실행을 보장하지는 않는다.

엔비디아는 13일 기술 블로그에서 사람과 로봇은 팔다리 길이와 관절 구성, 가동 범위가 달라 사람의 관절값을 그대로 옮기기 어렵다고 설명했다. 이 도구는 사람 동작을 공통 골격 형식으로 받아 대상 로봇의 체형과 관절에 맞게 조정한다.

입력은 SOMA 골격으로 표현한 BVH 동작 파일이다. 도구는 동작 크기를 로봇 체형에 맞추고 역기구학(IK)을 적용해 프레임마다 관절 자세를 계산한다. 이후 관절 가동 범위와 발이 바닥에 닿는 구간을 고려해 동작을 보정한다.

사람 동작은 모션 캡처, 영상에서 복원한 움직임, 생성 모델의 출력에서 가져올 수 있다. 다만 변환 전에 SOMA 골격 형식으로 맞춰야 하므로 원본 영상이나 형식이 다른 BVH 파일을 곧바로 넣는 방식은 아니다.

출력 CSV에는 프레임별 로봇의 위치와 방향, 관절값이 담긴다. 여러 동작을 변환하면 로봇별 학습에 사용할 참조 동작 묶음을 만들 수 있다. 사람의 움직임을 로봇이 수행할 동작으로 바꾸고 학습 자료를 구축하는 흐름은 앞서 소개한 로봇 학습 데이터 연구와도 맞닿아 있다.

예제 대상은 유니트리(Unitree) G1·H2, Booster T1, AgiBot X2 Ultra·A3T3 등 5종이다. 샘플 동작은 Bones의 BONES-SEED 데이터셋에서 제공받았다. 로봇 설정 도구는 사람 골격의 부위와 로봇 관절을 대응시킨다.

역기구학 가중치는 로봇이 모든 동작 목표를 한꺼번에 맞추기 어려울 때 어떤 신체 부위를 우선할지 정하는 데 쓰인다. 접촉 감지와 발 고정 보정, 가중치 최적화는 실험적 기능으로 분류돼 있다.

손 흔들기 예제에서는 같은 사람 동작도 로봇의 기준 자세에 따라 변환 결과가 달랐다. Booster T1의 기준 자세를 조정하기 전에는 두 팔이 바깥으로 벌어졌지만, 조정한 뒤에는 한 손을 머리 옆에서 흔들고 다른 팔은 몸 옆에 뒀다. 엔비디아는 대표 동작으로 설정을 조정한 뒤 여러 동작에 같은 설정을 적용하는 절차를 제시했다.

저장소 변경 이력에는 v0.2.0이 9월 15일, 관절 제한값 편집 오류를 수정한 v0.2.1이 10월 1일 기록돼 있다. 13일 기술 블로그는 새 버전 출시가 아니라 이미 나온 기능의 적용 과정과 활용 경로를 설명했다.

로보티즈(ROBOTIS)는 자체 문서에서 AI Sapiens에 SOMA Retargeter를 적용할 때 자사 포크를 사용하도록 안내한다. 이 포크에는 AI Sapiens용 변환 대상과 CSV 출력 형식이 포함돼 있어 엔비디아 기본 저장소의 5종 예제와 구성이 다르다.

변환 결과는 운동학적 동작 자료다. 엔비디아는 사람 동작을 MicroDuck에 맞춰 바꾸고 물리 시뮬레이션에서 동작별 제어기를 학습한 사례를 소개했다. 공식 저장소는 실물 로봇에 적용하기 전 시뮬레이션에서 안전성, 실행 가능성, 제어기 호환성을 확인하도록 안내한다.