从“看懂课程”到交付机器人系统

运行命令

python tools/calibrate_camera.py --images data/chessboard --square 0.025
python tools/solve_hand_eye.py --poses data/hand_eye.csv
python tools/check_sync.py --rgb rgb/ --depth depth/ --wrench wrench.csv

合格指标

必须提交

• calibration/result.yaml 与误差表
• 标定图、重投影误差分布、TF 校验截图
• 失败样例：模糊图、角点不足、时间戳漂移

常见失败

误差很低但抓取偏移：通常是手眼坐标方向、深度尺度或 TF 时间戳错了。必须用独立验证集检查，而不是只看训练图像。

运行命令

xacro robot_description/arm.urdf.xacro > build/arm.urdf
check_urdf build/arm.urdf
ros2 launch robot_description display.launch.py
ros2 run tf2_tools view_frames

合格指标

必须提交

• robot_description/、TF 树截图、RViz/Gazebo 截图
• 质量、质心、惯量来源说明
• 从 SolidWorks/CAD 到 URDF 的转换记录

工程提醒

机械设计工程师最容易踩的坑是 kg·mm² 与 kg·m² 的惯量单位转换，以及 visual/collision/inertial 原点不一致。

运行命令

python control/fk_ik_check.py --robot build/arm.urdf
python control/trajectory_pid.py --target configs/pick_pose.yaml
python control/evaluate_tracking.py --log logs/control.csv

合格指标

必须提交

• FK/IK 单元测试、Jacobian 数值校验
• 目标轨迹 vs 实际轨迹曲线
• 奇异位形、限速、急停处理说明

练习题

解释为什么 IK 解存在多解；当 Jacobian 接近奇异时，速度控制会出现什么风险？给出一个阻尼最小二乘修复方案。

运行命令

ros2 launch moveit_config demo.launch.py
python planning/run_pick_place.py --scene configs/table_scene.yaml
python planning/evaluate_plans.py --trials 50 --out reports/planning.csv

合格指标

必须提交

• MoveIt2 配置、场景文件、行为树 XML/JSON
• 50 次规划统计表和失败原因分类
• 重试、回退、安全位姿策略

常见失败

规划成功但执行失败，多数不是“规划器不好”，而是碰撞模型过粗、joint limit 不真实、控制延迟或夹爪工具坐标未对齐。

运行命令

python perception/segment_rgbd.py --rgb rgb.png --depth depth.npy
python perception/estimate_pose.py --cloud object.pcd --model models/object.ply
python perception/evaluate_pose.py --pred pred.json --gt gt.json

合格指标

必须提交

• RGB-D 输入、分割 mask、点云、配准可视化
• 位姿误差表、失败样例和修复策略
• 感知结果如何进入 MoveIt2 或控制器

面向 VLA

VLA 不是替代感知质量评估的魔法。你仍然要知道视觉 token 或状态估计错在哪里，否则语言指令再聪明也会抓错。

运行命令

python learning/record_episode.py --task pick_place --operator teleop
python learning/validate_dataset.py --dataset data/episodes
python learning/train_bc.py --dataset data/episodes --out checkpoints/bc.pt
python vla/format_vla_dataset.py --episodes data/episodes --lang tasks.jsonl

合格指标

必须提交

• 语言-视觉-动作数据格式说明
• 训练曲线、验证集指标、rollout 视频
• 分布偏移失败案例与补数据策略

过渡练习

把“把红色方块放到蓝色区域”拆成语言目标、视觉状态、动作 chunk、终止条件和失败恢复码。

运行命令

python sim/randomize_domain.py --config sim/domain.yaml --trials 200
python sim/evaluate_gap.py --sim logs/sim.csv --real logs/real.csv
python world_model/train_dynamics.py --dataset data/mixed --horizon 20
python continual/evaluate_forgetting.py --tasks old,new

合格指标

必须提交

• 随机化范围、系统辨识参数、消融表
• 仿真/真实成功率对比和 gap 曲线
• 持续学习新旧任务评估表

判断题

如果仿真成功率高但真机失败，不要先调大模型。先定位视觉差距、动力学差距、控制延迟和安全限幅是否匹配。

运行命令

ros2 launch deployment bringup_safe.launch.py
python deployment/run_policy_guarded.py --policy checkpoints/bc.pt --dry-run
python deployment/run_policy_guarded.py --policy checkpoints/bc.pt --enable-robot
python deployment/analyze_latency.py --log logs/deploy.csv

合格指标

必须提交

• 部署脚本、SOP、安全 checklist、日志样例
• 成功/失败/恢复视频，至少 30 次试验统计
• 答辩用 10 分钟讲稿和岗位能力映射

一票否决

没有急停、安全边界、限速或人工接管记录的真机演示，不算就业级作品；把 LLM/VLA 输出直接发给执行器也不合格。