跳转到内容
简体中文

控制循环

PhysiClaw 的每个动作都是同一个五阶段循环的一次轮转。循环保持固定,正是系统可靠的关键: 每个阶段只做一件事,只有一项检查。

顶部摄像头 ──→ AI 智能体 ──→ 三轴机械臂 ──→ 侧向摄像头 ──→ 对准了吗?
(读屏幕) (决策) (移动笔) (查笔尖) │
▲ 是 │ 否
│ │ │
│ 触碰手机 ◄────────────────────────────────────┘ │
│ │ │
└──────────┘ (下一个动作) 微调并重试 ◄──────┘
  1. 收笔并截图。 触控笔收回画面之外,让顶部摄像头获得干净无遮挡的视野。智能体收到截图。

  2. 决策。 智能体读取屏幕,选择高层动作:方向与距离 (move("down-right", "large")),或手势(tapswipe)。

  3. 移动。 服务器把决策转换为电机坐标并驱动机械臂。

  4. 校验。 侧向摄像头将笔尖与目标比对。如果偏了,智能体微调并重新检查—— 在任何触碰发生之前先缩小误差。

  5. 触碰并重复。 触控笔下探、触发触摸、收回,循环重新开始,处理下一个动作。

  • 未对准——在校验阶段被发现;智能体以更小的移动量重试。
  • 漏触——下一张截图显示屏幕没有变化;智能体再点一次。
  • 意外画面——弹窗或广告出现;智能体直接把它当作新状态,重新决策。没有会”脱轨”的脆弱脚本。

这种”观察结果,再次决策”的设计,让 PhysiClaw 像人一样从意外中恢复——看一眼,再试一次。