校准
PhysiClaw 用摄像头观察屏幕,再用触控笔点击屏幕。为此,它需要建立两个映射:
一个是从手机屏幕到摄像头画面,也就是搞清楚「屏幕上的某个按钮,出现在摄像头画面里的哪个位置」。
另一个是从手机屏幕到机械臂移动平面,也就是算出「要点到这个按钮,触控笔需要移动多远」。
有了这两个映射,PhysiClaw 才能「眼手合一」。它看到画面后,就能准确点到正确的位置。
开始校准前,先在电脑上打开一个相机预览应用,查看摄像头拍到的画面,并调整摄像头角度,让手机屏幕:
- 尽量占满画面
- 保持平整
- 不倾斜
可用来查看摄像头画面的应用:
- macOS:Photo Booth
- Windows:相机
- Linux:Snapshot(或 Cheese)
启动服务:
physiclaw第一次读取摄像头时,macOS 会弹出授权请求,点击允许。也可在系统设置 → 隐私与安全性 → 摄像头里重新设置。
physiclaw读取摄像头和访问串口分别需要 video 和 dialout 用户组。把自己加入这两个组,然后注销并重新登录:
sudo usermod -aG dialout,video $USER(Arch 系发行版的串口组是 uucp,不是 dialout。)
然后启动服务:
physiclaw它会在浏览器里自动打开一个设置向导,一步步带你完成校准。
向导支持自动运行。在自动模式下,它会替你完成每一个校准步骤。
如果你之前已经完成过校准,没有移动过硬件,可以开启自动模式。
第一次运行,在校准完成后,PhysiClaw 会花几分钟学习手机的屏幕布局,弄清聊天软件的输入框、发送按钮和屏幕键盘的位置。这一步全自动,你无需操作。
请确保微信已固定在屏幕底部栏(见准备手机),PhysiClaw 就能找到并打开它。学习完成后,就可以开始给它派任务了。