机械臂抓取物体 PVN3D算法调研学习

PVN3D是一个基于深度学习的方法可以从单张RGB-D彩色深度图像中精准地预测出目标物体的6D姿态即3D位置和3D朝向。这个姿态信息恰好就是机械臂需要知道的“抓取位姿”因此PVN3D可以看做是机器人的“眼睛”。它能做到高精度关键在于其“3D关键点投票”的策略不直接预测它不直接计算物体的旋转和平移这通常很难而是换了一种思路。检测关键点先在物体的三维点云数据中检测出几个具有几何意义的“3D关键点”例如物体的8个角点。拟合算姿态计算出这些关键点的位置后再通过数学上的“最小二乘法拟合”精确地反推出物体的完整6D姿态。这种方法极大地利用了物体刚体的几何约束使得算法更易于学习和优化从而获得更高、更鲁棒的精度。数据集相应的格式YCB-Video数据集平均精度很高适用于家庭和仓储场景。LineMOD数据集在工业级物体上精度出色。工业应用验证已被初步证实是工业级应用的可行方案。