校准
PhysiClaw 用摄像头观察屏幕,用触控笔点击屏幕,为此需要建立两个映射:
一个是从手机屏幕到摄像头画面:屏幕上的按钮出现在摄像头画面的哪个位置。
另一个是从手机屏幕到机械臂移动平面:触控笔要移动多远才能点到这个按钮。
有了这两个映射,PhysiClaw 才能「眼手合一」,看到屏幕后准确点击目标位置。
校准前,在电脑上打开相机预览应用,查看摄像头画面,调整摄像头角度,让手机屏幕:
- 尽量占满画面
- 保持平整
- 不倾斜
可查看摄像头画面的应用:
- macOS:Photo Booth
- Windows:相机
- Linux:Snapshot(或 Cheese)
启动服务器:
physiclaw第一次读取摄像头时,macOS 会请求授权,点击允许。之后可在系统设置 → 隐私与安全性 → 摄像头中修改。
physiclaw读取摄像头和访问串口分别需要 video 和 dialout 用户组。把自己加入这两个组,然后注销并重新登录:
sudo usermod -aG dialout,video $USER(Arch 系发行版的串口组是 uucp,不是 dialout。)
然后启动服务器:
physiclaw服务器自动在浏览器中打开设置向导,逐步引导你完成校准。
向导也可以自动运行。开启自动模式后,向导替你完成每个校准步骤。
如果已经校准过且没有移动硬件,可以开启自动模式。
首次运行校准完成后,PhysiClaw 会花几分钟学习手机屏幕布局,确定聊天软件的输入框、发送按钮和屏幕键盘的位置。这一步全自动完成,无需操作。
确保微信已固定在底部栏(见准备手机),PhysiClaw 才能找到并打开它。学习完成后,即可向它分配任务。