6D Pose Estimation with Miniature
미니어처를 이용한 고중량물의 6D Pose 추정 학습 방법
Isaac Gym 시뮬레이션 데이터를 이용해 6D 자세 추정 모델(PVN3D)을 학습할 경우, 시뮬레이션 데이터의 한계로 인해 실제 환경과의 차이(Sim-to-Real gap)가 발생한다. 또한 실제 환경에서는 고중량물을 직접 다루기 어렵기 때문에 데이터 수집이 쉽지 않다는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 연구에서는 미니어처 기반 데이터 수집 방법을 제안한다. 축소된 고중량물 모형을 이용해 데이터를 수집한 뒤 깊이(depth)를 스케일링하여 실제 크기의 물체 데이터로 변환함으로써, 실제 고중량물에 적용 가능한 학습 데이터를 구축한다.
6D Pose Estimation and Grasping with NPU-integrated camera
본 연구는 NPU가 내장된 AI vision sensor를 개발하여, 센서 자체에서 real-time on-device inference가 가능하도록 하는 것을 목표로 한다. 이를 위해 파지 알고리즘 HGGD와 6D Pose estimation 알고리즘 PVN3D를 비전 센서 내부에 탑재하여, 별도의 외부 연산 장치 없이도 grasp pose detection과 6D object pose estimation을 수행하고자 한다.
기존 HGGD와 PVN3D는 GPU 기반 모델이므로, NPU 환경에 맞추기 위해 지원되지 않는연산을 대체하고 불필요한 모듈을 제거한 뒤 재학습을 수행하였다. 특히 point cloud 관련 연산은 2D NPU에서 지원되지 않아, 해당 연산은 3D NPU에서 수행하도록 분리하여 파이프라인을 구성하였다. 수정한 파이프라인을 통해 GPU 대비 전력 소모가 급감함을 확인하였다.
