촉각 기록 4983시간 학습한 로봇 AI, 실물 작업 26개 평가

Robbyant가 자기식·압저항식·시촉각 센서의 신호를 공통 형식으로 처리하는 로봇 AI 모델 LingBot-Touch를 공개했다. 사전 학습에는 촉각 기록 4983시간과 약 13억 프레임이 쓰였다.

관련 논문은 10일 오전 3시12분(한국시간) arXiv에 제출됐다. 현재 확인된 문서는 arXiv에 공개된 사전공개 논문이며, 학술지 심사·게재 여부는 확인되지 않았다.

촉각 센서는 접촉을 감지하는 원리에 따라 서로 다른 신호를 만든다. 한 센서에서 얻은 데이터를 다른 센서에 그대로 적용하기 어려운 이유다.

Robbyant는 기술 설명에서 센서별 입력부인 토크나이저가 각 신호를 처리한 뒤 공통 기하 인터페이스를 거쳐 공유 모델인 Haptic Transformer에 전달한다고 밝혔다. 이 구조로 서로 다른 센서의 접촉 정보를 공통 표상으로 묶는다.

모델 학습에는 JEPA 방식의 잠재 공간 예측이 쓰였다. 신호값 자체를 직접 복원하는 대신 시공간 맥락을 바탕으로 촉각 상황의 표상을 예측하며, 이 표상은 확산 정책이나 시각·언어·행동(VLA) 모델에 결합할 수 있다.

사전 학습 자료는 상호작용 에피소드 46만4431개로 구성됐다. 센서별 기록 시간은 압저항식 2197시간, 시촉각 1650시간, 자기식 1136시간이다.

학습 자료에는 촉각 장갑과 로봇 손에서 수집한 기록이 함께 쓰였다. 전체 기록은 약 13억 프레임에 이른다.

실물 로봇 평가는 Sharpa Wave 손으로 20개, XHand 손으로 6개 작업을 진행했다. 개발사는 각 작업을 20회씩 시험했다고 설명했다.

비교 대상은 기본 모델, 원시 촉각 신호를 입력한 모델, LingBot-Touch의 고정된 표상을 사후학습 단계에서만 추가한 정책이었다. 이를 통해 촉각 정보가 포함된 조건의 작업 성공률을 비교했다.

시험 작업에는 정밀 조작, 형태가 변하는 물체 취급, 두 손을 함께 쓰는 작업이 포함됐다. 개발사는 세 조건의 성공률 비교 차트를 공개했다.

성능 결과는 개발사 자체 평가다. 외부 연구팀의 독립 재현 결과는 공개 자료에서 찾아볼 수 없다.

가장 작은 HaT-Tiny 인코더는 매개변수 546만개로 구성됐다. 모델의 크기를 줄인 버전도 추론에 활용할 수 있도록 설계됐다.

공식 GitHub 저장소에는 추론 코드와 센서 어댑터, 샘플 데이터가 올라와 있다. Tiny·Small 모델 가중치와 설정 파일은 허깅페이스와 ModelScope에 별도로 등록됐으며, 가중치에는 Apache-2.0 라이선스가 표시돼 있다.

모델 파일은 코드 저장소와 별도로 호스팅된다. 내려받으려면 해당 모델 저장소에 접근 권한이 있는 계정이 필요하다.

공개 자료에는 추론 도구와 일부 샘플이 포함됐지만 전체 학습 데이터와 학습 코드는 포함되지 않았다. 새 센서 배열을 연결할 때는 센서 좌표와 측정 범위, 감지점 순서 등을 맞추고 보정해야 한다.

국내에서도 촉각 기반 로봇손 개발 사례가 소개됐다. 본지는 앞서 촉각과 온도 정보를 사용자에게 전달하는 원격 로봇 글러브 개발 계획을 보도했다.