← Docs hub

자율주행·그리퍼 로봇 모델 아키텍처

결론

첫 제품은 바퀴형 모바일 매니퓰레이터와 한 개의 팔·그리퍼를 기준으로 한다. 시작 구조는 하나의 거대 모델이 모든 판단과 제어를 맡는 방식이 아니라, 목표 해석·환경 지각·자율주행·파지·조작을 나눈 전문 모델 중심 계층형 구조가 적합하다.

목표 해석
  -> 세계 상태 구성
  -> 자율주행 또는 파지·조작 정책 선택
  -> ROS 2 Action으로 실행
  -> TaskManager가 진행·취소·실패·완료 관리
  -> 물리 Evidence를 반영해 계속·복구·재계획 결정

VLA(Vision-Language-Action)는 장기적으로 유효하지만 첫 기준선으로 두지 않는다. 전문 모델과 결정적 제어기가 만든 제품 데이터와 실패 근거를 먼저 축적한 뒤, 공유 멀티모달 표현과 선택적 VLA를 추가한다. VLA가 만든 행동 후보도 동일한 정책·자원·안전·완료 근거 경계를 통과해야 한다.

문서 상태

• 목표 설계: 실제 구현을 위한 모델·런타임·데이터·검증 경계를 정의한 구조안
• 공개 근거: ROS 2, Nav2, MoveIt 2, NVIDIA Isaac ROS와 로봇 학습 연구의 공식 자료
• 현재 연결 기준: SKIX TaskManager·Capability·State·Evidence와 로봇 Provider 경계
• 실기기 검증 전: 학습 모델, Jetson Thor 배치, ROS 2 전체 연동의 지연·정확도·안전성은 제품 하드웨어에서 별도 검증 필요

1. 전체 구조

구조도 크게 보기

계층별 책임

ROS 2에서는 연속 상태는 Topic, 빠른 질의는 Service, 오래 걸리며 feedback·cancel·result가 필요한 동작은 Action이 적합하다. 이 구분은 ROS 2 인터페이스 공식 설명과 ROS 2 Action 개념을 따른다.

2. 무엇을 학습하고 무엇을 유지할 것인가

직접 학습할 영역

조작 정책은 처음부터 범용 로봇 행동 모델을 학습하기보다 범위가 좁은 skill부터 시작한다. ACT/ALOHA는 원격 조작 시범으로 Transformer 기반 행동 묶음을 학습하는 사례이고, Diffusion Policy는 시각 조건에서 행동 시퀀스를 생성하고 receding-horizon으로 다시 관측하며 제어하는 사례다.

학습시키지 않을 영역

첫 제품에서는 다음 영역을 데이터 학습으로 대체하지 않는다.

• 위치 추정·기본 지도 작성, costmap과 충돌 검사
• 경로·궤적의 기하학적 유효성 검사
• 역기구학, 관절 제한, 속도·가속도·힘 제한
• emergency stop과 안전 PLC/MCU 판단
• TaskManager의 queue, timeout, cancel, terminal 상태
• 권한, 제품 정책, 자원 충돌과 사용자 동의

Nav2는 행동 트리, planner, controller, recovery, state estimation과 costmap을 결합한 항법 구조를 제공한다. Nav2 Navigation Concepts를 제품 항법 기준선으로 사용하고, 학습형 자율주행은 Nav2를 없애기보다 subgoal·waypoint·탐색 prior를 보강하는 위치에 둔다.

MoveIt 2는 planning scene, collision checking, kinematics와 motion planner를 결합해 joint trajectory를 만든다. MoveIt motion planning과 move_group 구조를 조작 기준선으로 사용하고, 학습 모델은 파지 자세·skill·복구 후보를 제공한다.

학습 모델이 최종 안전 권한을 갖지 않는다. 모델은 목표·subgoal·파지·행동 후보를 제안하고, 실행 허용과 실시간 제한은 Framework와 로봇 제어기가 판정한다.

3. 모델 구성

3.1 환경 지각

환경 지각은 한 모델로 합치기보다 역할을 나눈다.

Jetson에서 사용할 수 있는 Isaac ROS Visual SLAM과 Isaac ROS nvblox는 GPU 가속 지각·지도 구성 후보다. 실제 채택은 센서 형상, ROS 배포판, 지연과 메모리 측정 뒤 결정한다.

3.2 자율주행

자율주행은 세 층으로 나눈다.

1. 의미 목표 선택: “주방 선반 앞”, “컵이 보이는 관측 지점”을 고른다.
2. 경로·국소 제어: Nav2가 지도·costmap을 사용해 경로와 속도 명령을 만든다.
3. 실시간 안전: 베이스 제어기와 MCU가 충돌·속도·정지 조건을 판정한다.

학습형 navigation model은 첫 단계에서 raw wheel torque를 출력하지 않는다. 목적지 후보, subgoal, waypoint 또는 recovery 후보를 출력하도록 제한한다. ViNT는 시각 관측과 목표로 거리·행동을 예측하는 navigation Transformer의 참고 구조이며, 언어모델이 아니어도 Transformer 기반 행동 모델을 구성할 수 있음을 보여준다.

3.3 파지·조작

첫 제품의 조작 pipeline은 다음 순서가 현실적이다.

객체 검출·분할
  -> 6D 자세 또는 점군
  -> 파지 후보와 접근 방향
  -> MoveIt 2 충돌 검사·궤적
  -> 팔/그리퍼 Provider 실행
  -> 힘·그리퍼 폭·영상으로 성공 판정

정형 물체는 파지 후보 + MoveIt 2로 시작한다. 접촉이 복잡하거나 긴 시퀀스가 필요한 skill은 모방학습으로 보강한다. 행동 정책의 출력은 관절 torque보다 짧은 목표 자세 또는 행동 묶음을 우선한다. 그래야 안전 제어와 trajectory validator를 유지하면서도 학습 정책의 장점을 활용할 수 있다.

3.4 선택적 VLA

VLA는 영상·언어·로봇 상태를 받아 행동을 생성한다. Open X-Embodiment는 여러 로봇의 대규모 trajectory를 하나의 데이터 규격으로 학습하는 방향을 보여주고, Isaac GR00T는 휴머노이드용 멀티모달 정책과 Jetson Thor 배치를 제시한다.

제품 적용 순서는 다음과 같다.

1. 전문 모델과 VLA의 결과를 나란히 기록하는 shadow 평가
2. VLA는 계획 후보만 생성하고 전문 실행기와 Safety Gate가 검증
3. 성공률·개입률·지연·자원 사용에서 기준선을 넘는 제한 skill에만 live 허용
4. 공유 표현은 확대하되 navigation·manipulation의 전문 Head와 fallback 유지

4. 데이터와 학습 루프

학습 루프 크게 보기

Episode 계약

학습 단위는 개별 이미지가 아니라 하나의 목표가 시작해 종료되는 Episode다.

데이터 수집 순서

1. 원격 조작 시범으로 성공 경로와 안전한 행동 범위를 확보한다.
2. 스크립트 전문가와 시뮬레이션으로 반복 가능한 기본 동작을 넓힌다.
3. 실기기 제한 배포에서 실패·취소·사람 개입을 함께 저장한다.
4. 모델이 방문한 상태 분포에서 전문가가 교정한 데이터를 다시 추가한다. 이는 DAgger가 다루는 imitation learning의 분포 이동 문제와 연결된다.

데이터 분할은 프레임 무작위 분할이 아니라 공간·경로·물체 instance·조명·사용자·수집 날짜 단위로 한다. 같은 Episode의 인접 프레임이 train과 test에 동시에 들어가면 실제 일반화 성능보다 높게 측정된다.

5. TaskManager와 ROS 2 계약

상위 Task와 로봇 내부 Action은 같은 것이 아니다.

TaskManager는 Goal·Step·의존관계·timeout·cancel·최종 Reason을 소유한다. ROS 2 Action과 로봇 Provider는 물리 동작의 feedback과 result를 제공한다. Action result=SUCCEEDED만으로 제품 목표 성공을 확정하지 않고 필요한 센서 Evidence를 함께 판정한다.

task:
  capability: pick_and_place
  goal:
    object_ref: red_cup_01
    destination_ref: kitchen_shelf_lower
  constraints:
    max_base_speed_mps: 0.35
    max_grip_force_n: 18
    require_fresh_observation_ms: 1500
  completion:
    all_of:
      - gripper_released
      - object_in_destination_region
      - robot_motion_stopped

이 계약은 특정 문장에 대한 룰을 추가하는 방식이 아니다. Planner가 Capability 명세와 현재 상태를 보고 필요한 Task를 구성하고, Framework가 schema·정책·자원·freshness를 검증하며, Provider가 실행 가능한 ROS 2 Goal로 변환한다.

6. Jetson Thor의 배치

Jetson Thor는 모델 전체의 설계 원리가 아니라 고성능 추론·센서 처리 실행 위치다. NVIDIA의 Jetson 개발 자료와 Jetson 벤치마크 안내를 기준으로 실제 모델별 TensorRT 변환 가능성, latency, GPU·CPU·메모리 사용량을 측정해야 한다.

Jetson Thor를 채택해도 Planner, TaskManager, ROS 2 Action, 실시간 안전 제어의 경계를 합치지 않는다. 추론 장치 장애나 모델 교체가 전체 제품 실행 계약을 바꾸지 않아야 한다.

7. 대표 폐루프 시나리오

“거실에서 빨간 컵을 찾아 주방 선반에 놓아줘”

정상 feedback마다 LLM을 다시 호출하지 않는다. 로컬 TaskManager와 ROS 2 실행기가 진행을 이어가고, 목표 수정·대안 선택·사용자 동의가 필요한 경계에서만 Planner를 다시 사용한다.

8. 평가와 출시 기준

검증 순서

1. 오프라인 고정 데이터 회귀
2. 시뮬레이션 폐루프 평가
3. Hardware-in-the-Loop 센서·제어 계약 검증
4. 저속·안전 구역의 제한 실기기 검증
5. 제품 시나리오 E2E와 장시간 반복

핵심 지표

모델 평가는 정확도만 보지 않는다. 같은 모델 버전을 오프라인·시뮬레이션·HIL·실기기에서 추적하고, product release는 물리 목표 성공과 안전 지표를 함께 통과해야 한다.

9. 단계별 로드맵

로드맵 크게 보기

휴머노이드·양팔 확장은 상위 Goal과 Task 계약을 바꾸기보다 Provider와 행동 정책의 자유도를 넓히는 방식으로 진행한다. 바퀴형 기준선에서 확보한 Episode·Evidence·Safety·관측성 계약을 유지해야 로봇 형상별 모델을 비교하고 교체할 수 있다.

10. 설계 결정

• 첫 제품은 전문 모델 중심 계층형 구조로 시작한다.
• 목표 해석 모델은 의미와 제약을 만들고, navigation·manipulation 전문 모델은 행동 후보를 만든다.
• Nav2·MoveIt 2·ROS 2 Action·저수준 제어기는 기하·실행·안전 기준선으로 유지한다.
• 직접 학습할 영역은 제품 지각, semantic navigation, 파지·조작 skill, 실패·복구 판단이다.
• VLA는 전문 모델을 즉시 대체하지 않고 shadow와 제한 skill에서 검증한다.
• Jetson Thor는 가속 실행 위치이며 제품 책임 경계를 대체하지 않는다.
• 데이터의 최소 단위는 frame이 아니라 목표·행동·Evidence가 연결된 Episode다.
• 정상 진행은 로컬에서 이어가고, 의미 판단이 필요한 경계에서만 Planner를 다시 호출한다.

관련 문서

• SKIX 리팩터링 프레임워크 설계안
• Booster T2와 SKIX 연동 설계
• SKIX 로봇 제어 전체 구조
• DeviceAgent TaskManager 기준 사양서
• A2A 지식 그래프·RAG 연동 설계