快速上手
在安装好服务器并连接硬件后,距离你的第一个自主任务只差三步。
标定让机械臂学会屏幕像素如何映射到电机坐标,以及触控笔要下探多少(Z 轴)才能触发触摸。
-
在手机上打开标定靶图(带参考点的白色屏幕)。
-
运行标定程序:
bash python -m physiclaw.calibrate -
按提示操作——机械臂会逐点点按,侧向摄像头同时测量笔尖位置。 标定结果保存到
config.py。
2. 工具自检
Section titled “2. 工具自检”在把控制权交给模型之前,先确认面向智能体的工具可用:
python -m physiclaw.physiclaw_server --selftest# ✓ screenshot_top 1920×1080# ✓ screenshot_side 1920×1080# ✓ move 已到达 (x=42, y=120)# ✓ tap 触摸已触发# ✓ park 触控笔已收回3. 运行第一个任务
Section titled “3. 运行第一个任务”在 MCP 客户端中解锁手机,用自然语言给它一个目标:
打开时钟 App,设置一个 10 分钟的计时器。
智能体会截图、判断方向与距离、移动、用侧向摄像头校验、点按,如此往复,直到计时器开始运行—— 并在过程中逐条说明它的工具调用。
✓ screenshot_top()✓ move("down-right", "large") → 时钟图标✓ tap()✓ screenshot_top()… 继续前往"计时器"标签页