跳转到内容

校准

PhysiClaw 用摄像头观察屏幕,用触控笔点击屏幕,为此需要建立两个映射:

一个是从手机屏幕到摄像头画面:屏幕上的按钮出现在摄像头画面的哪个位置。

另一个是从手机屏幕到机械臂移动平面:触控笔要移动多远才能点到这个按钮。

有了这两个映射,PhysiClaw 才能「眼手合一」,看到屏幕后准确点击目标位置。

校准前,在电脑上打开相机预览应用,查看摄像头画面,调整摄像头角度,让手机屏幕:

  • 尽量占满画面
  • 保持平整
  • 不倾斜

可查看摄像头画面的应用:

  • macOS:Photo Booth
  • Windows:相机
  • Linux:Snapshot(或 Cheese)

启动服务器:

bash
physiclaw

第一次读取摄像头时,macOS 会请求授权,点击允许。之后可在系统设置 → 隐私与安全性 → 摄像头中修改。

服务器自动在浏览器中打开设置向导,逐步引导你完成校准。

向导也可以自动运行。开启自动模式后,向导替你完成每个校准步骤。

如果已经校准过且没有移动硬件,可以开启自动模式。

首次运行校准完成后,PhysiClaw 会花几分钟学习手机屏幕布局,确定聊天软件的输入框、发送按钮和屏幕键盘的位置。这一步全自动完成,无需操作。

确保微信已固定在底部栏(见准备手机),PhysiClaw 才能找到并打开它。学习完成后,即可向它分配任务。