Physical AI Notes
EN

머리 강의

빛을 촬영 시각과 좌표계 정보가 담긴 이미지로 변환하고, 이를 바탕으로 물체의 3D 위치를 계산하는 비전 시스템

로봇 부위

아직 공개한 강의가 없습니다. 준비 중인 주제는 아래와 같습니다.

개요

비전 시스템이 보여 주는 것: 픽셀, 촬영 시각, 렌즈, 장착 위치

  1. 비전 시스템이 보여 주는 것: 픽셀, 촬영 시각, 렌즈, 장착 위치공개 예정

    카메라 프레임이 쓸모 있으려면 타임스탬프와 내부·외부 파라미터가 함께 있어야 하는 이유, 그리고 카메라 루프가 로봇 전체에서 차지하는 위치.

기본

카메라 인터페이스와 대역폭 계산, RealSense D435i의 깊이 측정, ROS 2에서 카메라 이미지 주고받기, 내부 파라미터 캘리브레이션과 역투영

  1. 카메라 인터페이스와 대역폭 계산: UVC·MIPI·GMSL공개 예정

    W×H×B×fps로 USB 대역폭 한계를 계산하고 v4l2-ctl과 GStreamer로 확인한다.

  2. RealSense D435i로 깊이 측정하기: 적외선 도트 패턴, 시차, 거리 제곱에 비례하는 오차공개 예정

    σ_z≈z²·σ_d/(f·B)를 벽을 찍어 잰 RMS 깊이 오차와 비교해 검증한다.

  3. ROS 2에서 카메라 이미지 주고받기: Image, CameraInfo, TF, QoS공개 예정

    stamp, frame_id, 광학 좌표계 규약과 대역폭 계산, QoS 불일치 재현.

  4. 픽셀을 3D 점으로 변환하기: 내부 파라미터 캘리브레이션과 역투영공개 예정

    체커보드 캘리브레이션, 그리고 검출한 바운딩 박스의 중심을 3D로 역투영하기.

심화

외부 파라미터와 hand-eye 캘리브레이션, 카메라 타임스탬프와 노출 시각, Jetson의 제로 카피 프레임 처리(GStreamer·NVMM), DeepStream으로 검출하고 추적하기

  1. 카메라 장착 위치 추정: 외부 파라미터와 hand-eye 캘리브레이션공개 예정

    AX=XB, 캘리브레이션 자세를 다양하게 잡아야 하는 이유, 회전 오차 1°가 손끝에서 몇 mm 오차가 되는지 계산.

  2. 카메라 타임스탬프는 어느 시각을 기록하는가: 노출 시각, 지연, 롤링 셔터공개 예정

    카메라와 IMU 사이의 시간 오프셋을 추정하고, '벽이 두 겹으로 보인다'는 예측이 맞는지 확인한다.

  3. Jetson에서 제로 카피로 프레임 처리하기: GStreamer와 NVMM공개 예정

    프레임이 메모리 경계를 넘는 횟수와 색 변환 횟수를 세고, CPU 부하와 지연 차이를 잰다.

  4. 30 fps로 검출하고 추적하기: DeepStream과 트래커공개 예정

    nvinfer interval, 트래커 종류, ID 스위치 사이의 트레이드오프와 SORT·ByteTrack의 원리.

실전

픽셀에서 손끝 좌표까지의 오차 예산, 현장에서 흔히 겪는 카메라 문제, 개방형 어휘 검출기·VLM 성능 평가

  1. 픽셀에서 손끝 좌표까지의 오차 예산: 센티미터 단위 오차는 어디서 생기는가공개 예정

    내·외부 파라미터 오차, 깊이 노이즈, 시간 오프셋, flying pixel로 mm 단위 오차 예산을 세운다.

  2. 현장에서 흔히 겪는 카메라 문제: 대역폭, 조명, 반사, 진동공개 예정

    증상 → 원인 → 확인 명령을 정리한 표, 그리고 녹화해 두고 재생하며 디버깅하는 방법.

  3. 개방형 어휘 검출기와 VLM의 로봇 인식 성능 평가: 직접 촬영한 사진 100장으로 측정하기공개 예정

    모델만 따로 평가해 프롬프트 민감도, 점수 보정, 공간 관계 판단 실패를 측정하고 Wilson 신뢰구간으로 나타낸다.