跳转到内容
简体中文

快速上手

安装好服务器并连接硬件后,距离你的第一个自主任务只差三步。

标定让机械臂学会屏幕像素如何映射到电机坐标,以及触控笔要下探多少(Z 轴)才能触发触摸。

  1. 在手机上打开标定靶图(带参考点的白色屏幕)。

  2. 运行标定程序:

    bash
    python -m physiclaw.calibrate
  3. 按提示操作——机械臂会逐点点按,侧向摄像头同时测量笔尖位置。 标定结果保存到 config.py

在把控制权交给模型之前,先确认面向智能体的工具可用:

bash
python -m physiclaw.physiclaw_server --selftest
# ✓ screenshot_top 1920×1080
# ✓ screenshot_side 1920×1080
# ✓ move 已到达 (x=42, y=120)
# ✓ tap 触摸已触发
# ✓ park 触控笔已收回

在 MCP 客户端中解锁手机,用自然语言给它一个目标:

打开时钟 App,设置一个 10 分钟的计时器。

智能体会截图、判断方向与距离、移动、用侧向摄像头校验、点按,如此往复,直到计时器开始运行—— 并在过程中逐条说明它的工具调用。

✓ screenshot_top()
✓ move("down-right", "large") → 时钟图标
✓ tap()
✓ screenshot_top()
… 继续前往"计时器"标签页
  • 控制循环——两次截图之间发生了什么。
  • MCP 工具——完整的工具与参数。
  • 手势——点按、长按与滑动如何转化为 G-code。