该项目围绕真实桌面场景下的机器人操作展开,使用 LeRobot 的数据与训练流程,结合 pi0.5 策略框架,在 SO-101 机械臂上完成两个不同类型的任务:叠毛巾与清理桌面。项目重点不是单一动作演示,而是验证“采集数据、训练策略、实体执行、观察误差”的完整闭环。
- 叠毛巾任务关注柔性物体操作,需要机械臂在接触不确定、布料形变明显的情况下完成抓取、拖拽、对齐与折叠。
- 清理桌面任务关注杂物场景中的目标定位和连续抓取,需要机械臂将桌面上的分散物体移动到指定区域。
- 两个任务共同覆盖刚性物体整理与柔性物体操作,能够更全面地检验策略的空间泛化、动作连续性和真实执行稳定性。
真实机械臂任务演示#
叠毛巾#
面向柔性物体的桌面操作任务,机械臂需要在布料形变和接触误差存在的情况下完成抓取、牵引和折叠动作。
清理桌面#
面向非结构化桌面的整理任务,机械臂根据目标物体位置执行连续抓取与放置,将分散物体移动到指定区域。
技术要点#
- 数据闭环:围绕真实机械臂采集任务数据,关注动作序列、末端执行器状态和视觉观测之间的对齐关系。
- 策略执行:基于 LeRobot / pi0.5 训练与推理流程,将桌面任务从离线样本推进到实体机械臂执行。
- 任务泛化:通过清理桌面和叠毛巾两个任务,分别覆盖刚性物体移动和柔性物体操作两类典型挑战。

