毕业能力画像
传感器标定
相机内参、手眼标定、RGB-D/IMU/力觉同步、误差来源解释。
机器人建模
URDF/Xacro、TF 树、惯量、碰撞模型、ros2_control 配置。
控制算法实现
FK/IK/Jacobian、PID、阻抗控制、轨迹插值和安全限幅。
机器人软件系统
ROS2 节点、Topic/Service/Action、MoveIt2、行为树和任务规划链路。
学习策略训练
遥操作数据采集、BC/ACT/Diffusion Policy、成功率与轨迹质量评估。
VLA 模型训练
视觉-语言-动作数据格式、动作 token/action head、小规模微调或适配实验。
Sim2Real 迁移
域随机化、系统辨识、真实少量微调、仿真-真机 gap 评估。
真实机器人部署
边缘部署、延迟优化、日志采集、急停/限速/回滚、安全验证和现场排错。
工业就业能力
项目报告、指标表、失败复盘、风险评估和可复现实验命令。
Capstone:从一句话指令到真实机器人执行
最终任务:识别桌面目标物体,规划抓取动作,把它放到指定区域;若失败,自动重试或请求人工确认。
传感器标定机器人建模感知定位MoveIt2 规划控制执行遥操作数据模仿学习/VLASim2Real真机安全部署实验报告
必交产物
| 目录 | 内容 | 证明什么能力 |
|---|---|---|
calibration/ | 内参、外参、手眼标定、重投影误差和标定图 | 传感器标定与误差分析 |
robot_description/ | URDF/Xacro、TF 树、惯量、碰撞几何、ros2_control | 机械结构到机器人软件模型的转换 |
control/ | FK/IK/Jacobian、轨迹插值、PID/阻抗控制、限速急停 | 控制与安全边界 |
perception/ | RGB-D/点云处理、目标检测、6D 位姿估计和可视化 | 多模态感知与定位 |
planning/ | MoveIt2 配置、行为树、任务规划 JSON/XML、失败恢复 | 任务到动作的规划链路 |
learning/ | 遥操作数据集、BC/ACT/Diffusion 或 VLA 微调、checkpoint、评估日志 | 策略学习与模型评估 |
sim2real/ | 域随机化、系统辨识、仿真/真机成功率 gap、迁移记录 | 从仿真到真实部署 |
deployment/ | 边缘部署脚本、日志、回滚方案、安全 checklist、Troubleshooting | 工程化和现场交付 |
report/ | 实验报告、指标表、曲线图、失败案例、复现命令、演示视频链接 | 作品集与面试证明材料 |
评分 Rubric
30% 系统闭环
是否真正跑通感知-规划-控制-执行,而不是孤立 demo。
20% 指标与可视化
是否有成功率、延迟、误差、轨迹质量和失败案例图表。
20% 安全与鲁棒
是否包含限速、急停、碰撞边界、回滚和现场排错流程。
15% 学习策略
是否能解释数据格式、模型训练、评估与 Sim2Real 差距。
15% 可复现交付
是否提供完整命令、环境说明、日志、报告和演示视频。