为什么需要硬件?
PhysiClaw 是能操作手机的智能体,用摄像头观察屏幕,用触控笔点击和滑动。为什么是手机?为什么用这么「原始」的物理方式?下面分三点说明。
大多数常用 App 没有 API
Section titled “大多数常用 App 没有 API”最直接的办法是让智能体调用 App 的开放接口,但真正有价值的服务都是封闭的。淘宝、京东、美团、滴滴、微信都希望用户停留在自己的界面里,花更多时间、消费更多、看更多广告,并与用户保持直接联系。开放 API 与这些目标背道而驰:智能体代替用户完成一切操作,界面被跳过,广告无法展示,平台沦为随时可替换的后端供应商。停留时长、广告收入和与用户的直接联系都无法保住。因此平台没有动机向第三方智能体开放,反而有充分理由把外部访问挡在门外。
在可预见的未来,没有哪家平台会把这些主导你日常生活的服务免费开放给你的智能体。这条路从一开始就走不通。
软件模拟输入也走不通
Section titled “软件模拟输入也走不通”接口走不通,下一个思路是用软件模拟人的操作,例如鼠标点击、键盘输入或触屏手势。
在电脑端,程序可以模拟鼠标和键盘,但网站的反爬虫和反机器人检测越来越严格,自动化访问很容易被识别并封禁,无法稳定使用服务。
在手机端,安卓的 ADB 可以注入点击和手势,但这类调用同样能被检测出来:它们带有软件操作的痕迹,更容易触发风控,轻则拦截会话,重则封号。
归根结底,凡是从软件层发出的指令,即使是系统底层的事件注入,平台都能识别。一旦判定「不是真人在操作」,平台就会限制访问或封禁账号。
物理方式绕过访问限制
Section titled “物理方式绕过访问限制”接口和软件模拟都走不通,只剩最原始的一条路:像人一样用手触摸屏幕。
手机屏幕小,版面固定,视觉定位相对简单。手机又是大多数人每天使用的设备,App 对它的信任度更高,不容易触发风控。这就是 PhysiClaw 选择操作手机的原因。它把手机屏幕本身当作 API:用摄像头读取屏幕,用触控笔执行手势,直接与 App 交互。手机不外接任何设备,不注入系统底层事件,对目标 App 零侵入。配置只用到 iOS 自带的辅助触控和几个快捷指令。在手机看来,这与真人手指操作没有区别,因此很难检测,几乎可以稳定访问任何 App。
代价是速度。一次点击或滑动需要几秒,远不及软件调用的几毫秒。这是有意的取舍:牺牲速度,换取通用性和稳定性。对于替你处理日常事务的智能体来说,慢一些无妨,重要的是可靠地完成任务。