LeRobot pi0.5 + SO-101:双任务机械臂操作

该项目围绕真实桌面场景下的机器人操作展开,使用 LeRobot 的数据与训练流程,结合 pi0.5 策略框架,在 SO-101 机械臂上完成两个不同类型的任务:叠毛巾与清理桌面。项目重点不是单一动作演示,而是验证“采集数据 - 训练策略 - 实体执行 - 观察误差”的完整闭环。

  • 叠毛巾任务关注柔性物体操作,需要机械臂在接触不确定、布料形变明显的情况下完成抓取、拖拽、对齐与折叠。
  • 清理桌面任务关注杂物场景中的目标定位和连续抓取,需要机械臂将桌面上的分散物体移动到指定区域。
  • 两个任务共同覆盖了刚性物体整理与柔性物体操作,能够更全面地检验策略的空间泛化、动作连续性和真实执行稳定性。

Robot Demos

真实机械臂任务演示

Task 01

叠毛巾

面向柔性物体的桌面操作任务,机械臂需要在布料形变和接触误差存在的情况下完成抓取、牵引和折叠动作。

Deformable Object Contact-rich Manipulation SO-101

Task 02

清理桌面

面向非结构化桌面的整理任务,机械臂根据目标物体位置执行连续抓取与放置,将分散物体移动到指定区域。

Tabletop Manipulation Sequential Grasping Real Robot

Implementation Notes

技术要点

数据闭环

围绕真实机械臂采集任务数据,关注动作序列、末端执行器状态和视觉观测之间的对齐关系。

策略执行

基于 LeRobot / pi0.5 训练与推理流程,将桌面任务从离线样本推进到实体机械臂执行。

任务泛化

通过清理桌面和叠毛巾两个任务,分别覆盖刚性物体移动和柔性物体操作两类典型挑战。