Physical AI Notes
EN

클라우드 강의

로봇에서 수집한 데모와 실패 사례로 정책을 다시 학습하고, 성능이 실제로 개선되었는지 평가한 뒤 로봇에 배포하는 과정. 가장 느린 축에 속하는 피드백 루프다

로봇 주변

아직 공개한 강의가 없습니다. 준비 중인 주제는 아래와 같습니다.

개요

데이터 수집에서 배포까지 작동하는 학습 파이프라인, 로봇 파운데이션 모델 비교(액션 출력 방식·공개 범위·필요한 자원)

  1. 학습 파이프라인은 가장 느린 축에 속하는 피드백 루프다: 데이터 수집에서 배포까지공개 예정

    학습 파이프라인을 피드백 루프로 보면 평가는 센서, 배포는 액추에이터에 해당한다.

  2. 로봇 파운데이션 모델 비교: 액션 출력 방식, 공개 범위, 필요한 자원공개 예정

    액션 출력 방식, 공개 범위, 필요한 자원이라는 세 가지 기준으로 모델을 비교한다.

기본

ACT·Diffusion Policy를 이용한 첫 정책 학습과 실험 추적, 성공률 평가에 필요한 시행 횟수와 신뢰구간

  1. 첫 정책을 학습하고 기록하기: ACT·Diffusion Policy와 실험 추적공개 예정

    학습 루프 한 바퀴, 손실과 성공률의 괴리, 재현 가능한 기록.

  2. 성공률 9/10, 믿어도 될까: 시행 횟수와 신뢰구간공개 예정

    Wilson 신뢰구간(9/10이면 약 60–98%), 70%와 80%를 구분하는 데 필요한 시행 수(정책당 약 290회), 한 장짜리 평가 프로토콜.

심화

ACT·Diffusion Policy가 액션을 묶어서 출력하는 이유, VLA의 액션 출력 방식(회귀·토큰·flow matching), VLA 파인튜닝 실무, 데모와 경험 데이터를 활용한 RL 파인튜닝

  1. ACT와 Diffusion Policy는 왜 액션을 묶어서 출력하는가공개 예정

    누적 오차와 다봉성, 액션 청크, 시간 앙상블, receding horizon, 그리고 모드 평균화(mode averaging)를 보여 주는 간단한 실험.

  2. VLA의 액션 출력 방식: 회귀, 토큰, flow matching공개 예정

    액션 헤드의 세 계열, 그리고 느린 System 2와 빠른 System 1로 나누는 구조.

  3. VLA 파인튜닝 실무: 메모리 계산, 동결 범위, 로봇에 맞춘 액션 설정공개 예정

    LoRA와 전체 파인튜닝에 드는 메모리, 그리고 액션 차원과 정규화를 로봇에 맞추는 방법.

  4. 데모와 경험 데이터를 활용한 RL 파인튜닝: DAPG, RLPD, 잔차 RL공개 예정

    DAPG, RLPD, 잔차 RL, advantage 조건화, 성공 판정기 오류의 영향.

실전

학습-배포 불일치 디버깅, 정책 평가 설계, 데이터 플라이휠 구축, 단계적 배포와 롤백

  1. 학습-배포 불일치 디버깅: 정규화, 관절 순서, fps, 전처리공개 예정

    정규화, 관절 순서, fps, 전처리 불일치를 일부러 넣어 만든 증상 표, 그리고 가중치·정규화 통계·설정을 한데 묶은 정책 번들.

  2. 정책 평가 설계: 짝지은 비교, 실패 분류, 벤치마크 포화공개 예정

    McNemar 검정, 블라인드 A/B 평가, 순차 검정.

  3. 데이터 플라이휠 구축: 실패 사례 수집, 선별, 재학습공개 예정

    이벤트 기반 수집, 실패 사례 마이닝, 데이터셋 버전 관리, 생존자 편향.

  4. 로봇에 새 정책을 배포하는 방법: 버전 관리된 번들, 단계적 배포, 롤백공개 예정

    카나리 배포와 SPRT 기반 롤백을 간단한 로봇 플릿 시뮬레이션으로 다뤄 본다.