LeRobot SO-ARM101机械臂教程：三、遥感操作

遥感操作简单遥感操作然后您就可以准备遥操作您的机器人了运行这个简单的脚本它不会连接和显示摄像头请注意与机器人关联的ID用于存储校准文件。在使用相同设置进行遥控操作、录制和评估时使用相同的 ID 至关重要。先对串口给予权限sudo chmod 666 /dev/ttyACM*运行遥操作lerobot-teleoperate \ --robot.typeso101_follower \ --robot.port/dev/ttyACM0 \ --robot.idmy_awesome_follower_arm \ --teleop.typeso101_leader \ --teleop.port/dev/ttyACM1 \ --teleop.idmy_awesome_leader_arm遥控操作命令将自动执行以下步骤1.识别任何缺失的校准文件并启动校准程序。2.连接机器人和遥控设备并开始遥控操作。带摄像头显示的远程操作为了实例化摄像头您需要一个摄像头标识符。这个标识符可能会在您重启电脑或重新插拔摄像头时发生变化这主要取决于您的操作系统。要查找连接到您系统的摄像头的摄像头索引请运行以下脚本lerobot-find-cameras realsense # or realsense for Intel Realsense cameras终端会打印相关摄像头信息。您可以在~/lerobot/outputs/captured_images目录中找到每台摄像头拍摄的图片。在 macOS 中使用 Intel RealSense 摄像头时您可能会遇到 “Error finding RealSense cameras: failed to set power state” 的错误。这可以通过使用 sudo 权限运行相同的命令来解决。请注意在 macOS 中使用 RealSense 摄像头是不稳定的。之后您就可以在遥控操作时在电脑上显示摄像头画面了只需运行以下代码即可。这对于在录制第一个数据集之前准备您的设置非常有用。lerobot-teleoperate \ --robot.typeso101_follower \ --robot.port/dev/ttyACM0 \ --robot.idmy_awesome_follower_arm \ --robot.cameras{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: MJPG}} \ --teleop.typeso101_leader \ --teleop.port/dev/ttyACM1 \ --teleop.idmy_awesome_leader_arm \ --display_datatruefourcc: MJPG格式图像是经过压缩后的图像你可以尝试更高分辨率当然你可以尝试YUYV格式图像但是这会导致图像的分辨率和FPS降低导致机械臂运行卡顿。目前MJPG格式下可支持3个摄像头1920*1080分辨率并且保持30FPS, 但是依然不推荐2个摄像头通过同一个USB HUB接入主机如果您有更多摄像头可以通过更改--robot.cameras参数来添加。您应该注意index_or_path的格式它由python -m lerobot.find_cameras opencv命令输出的摄像头 ID 的最后一位数字决定。例如如果你想添加摄像头:lerobot-teleoperate \ --robot.typeso101_follower \ --robot.port/dev/ttyACM0 \ --robot.idmy_awesome_follower_arm \ --robot.cameras{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: MJPG}, side: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30, fourcc: MJPG}} \ --teleop.typeso101_leader \ --teleop.port/dev/ttyACM1 \ --teleop.idmy_awesome_leader_arm \ --display_datatrue如果你想添加RealSense深度相机先运行python -m lerobot.find_cameras realsense 获取Id并将此命令中robot.cameras参数的serial_number_or_name: “323622271780” 替换为自己的深度相机Iduse_depth: true 启用深度流lerobot-teleoperate \ --robot.typeso101_follower \ --robot.port/dev/ttyACM0 \ --robot.idmy_awesome_follower_arm \ --robot.cameras{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: MJPG}, side: {type: intelrealsense, serial_number_or_name: 323622271780, width: 1280, height: 720, fps: 30, use_depth: true}} \ --teleop.typeso101_leader \ --teleop.port/dev/ttyACM1 \ --teleop.idmy_awesome_leader_arm \ --display_datatrue