Physical AI Notes
EN

리더암 강의

정책 대신 사람이 로봇을 조작하고, 그 동작을 정책 학습에 쓸 관측·액션·타임스탬프 데이터로 기록하는 입력 장치

로봇 주변

아직 공개한 강의가 없습니다. 준비 중인 주제는 아래와 같습니다.

개요

로봇 스택에서 텔레옵의 위치(사람이 정책 대신 닫는 루프), 리더암부터 사람 시연 영상까지 텔레옵 인터페이스 비교

  1. 텔레옵은 로봇 스택의 어디에 위치하는가: 사람이 정책 대신 닫는 루프공개 예정

    나중에 정책이 맡을 자리를 사람이 잠시 대신하며, 이때 남은 기록이 곧 데이터가 된다.

  2. 텔레옵 인터페이스 비교: 리더암부터 사람 시연 영상까지, 방식별 장단점공개 예정

    데이터 수집 방식을 여섯 가지 기준으로 비교하고, 방식마다 무엇을 포기하는지 정리한다.

기본

SO-101 리더-팔로워로 첫 데모 녹화하기, LeRobotDataset의 데이터 구조, VR·손 추적 텔레옵 기초

  1. SO-101 리더-팔로워로 첫 데모 녹화하기공개 예정

    캘리브레이션, 텔레옵, 녹화 설정이 데이터에 어떻게 반영되는지 살펴본다.

  2. 녹화 데이터의 구조: LeRobotDataset의 에피소드, 프레임, 타임스탬프공개 예정

    parquet·mp4·메타데이터, 정규화 통계 재계산, 누락 프레임 검사, RLDS·MCAP 비교.

  3. VR·손 추적 텔레옵 기초: 좌표계 정렬, 스케일, 클러치, 매 주기 IK공개 예정

    좌표계 변환 사슬과 IK 가중치에 따라 기록되는 데이터가 어떻게 달라지는지 살펴본다.

심화

지연에 따른 조작 방식(move-and-wait·양방향 텔레옵), 리더암 역학과 중력 보상, 액션 기록 스키마와 시간 정렬, 로봇 없이 데이터를 수집하는 방식(UMI·글러브·외골격·사람 시연 영상)

  1. 지연이 조작 방식을 바꾼다: move-and-wait와 양방향 텔레옵의 안정성공개 예정

    지연이 있을 때 조작자가 쓰는 멈춤 전략, 수동성, wave variable.

  2. 리더암의 역학: 관절 미러링, 중력 보상, 팔로워 처짐공개 예정

    조작자가 한 보정이 데이터에 액션과 상태의 차이로 기록되는 과정.

  3. 무엇을 액션으로 저장할까: 기록 스키마와 시간 정렬공개 예정

    액션으로 쓸 후보들을 비교하고, 교차상관으로 데이터셋에 들어 있는 지연을 추정한다.

  4. 로봇 없이 수집하는 데이터: UMI, 글러브, 외골격, 사람 시연 영상공개 예정

    데이터 규모를 얻는 대신 잃는 피드백과 라벨, 그리고 실행 가능성 필터.

실전

좋은 데모의 조건, 개입 데이터와 DAgger 계열, 데이터 수집 현장에서 생기는 문제

  1. 좋은 데모의 조건: 일관성, 다양성, 그리고 데이터 양을 늘릴 때의 문제공개 예정

    robomimic PH/MH 결과 재현, 데모 품질을 보여 주는 신호, 필터링이 만드는 편향.

  2. 사람의 개입을 학습에 활용하기: 개입 데이터와 DAgger 계열공개 예정

    무충격 전환, 개입 플래그, HG-DAgger 라운드.

  3. 데이터 수집 현장에서 생기는 문제: 캘리브레이션 어긋남, 프레임 드롭, 조작자 피로공개 예정

    증상과 데이터에 남는 흔적, 데이터 린터, 세션 단위로 나누는 학습·검증 분할.