目录
Pinky ↗可将AI智能体连接到Android手机或iPhone,让你在桌面窗口中监看、批准操作,并切换为手动操作。它值得用于尝试在监督下将手机任务交给智能体,但目前仍处于Pre-alpha阶段,因此最好先从备用设备开始。
主要要点#
- Pinky可在macOS、Windows和Linux上,将Claude Code、Codex、Cursor等支持MCP的智能体连接到手机。
- 支付、交易和转账默认需要批准,也可通过Settings › Safety添加需要批准的操作。
- Android 13及以上版本可使用独立的后台显示屏,更早版本的Android设备和iPhone则使用主屏幕。
- 以Apache-2.0许可证免费开源,无需账号,操作记录保存在本机电脑上。
Pinky实际能做什么#
Pinky让智能体能够操作手机屏幕,包括读取屏幕、启动应用、点击、滑动和输入文字。你向智能体说明任务,再通过Pinky的桌面窗口观察其操作。它适用于需要使用移动应用,而非网站或API的任务。
连接使用许多智能体工具支持的MCP协议。Pinky可通过Settings › Agents配置兼容的智能体,也可提供MCP服务器供手动配置。运行在其他电脑或容器中的智能体可通过HTTP连接。
桌面应用支持macOS 12及以上版本、x64版Windows 10或11,以及兼容的x86-64 Linux环境。据项目介绍,下载大小为16~22 MB,Mac上空闲时的内存占用约为70 MB。这些是项目方的测量数据,并非第三方基准测试结果。
批准控制机制#
Pinky在网关层执行批准规则,而非依赖智能体遵守文字指令。支付、交易和转账默认会等待用户点击批准。你也可以要求消息、删除、下单、通话、安装、外部链接和设置更改必须经过批准,或将所有步骤都设为需要批准。
银行、钱包和密码管理应用默认对智能体不可见。智能体可为特定任务请求临时访问银行或钱包应用。此外,Pinky会阻止智能体在密码栏和一次性验证码栏中输入内容,每个新智能体都需要用户批准并指定访问范围。
点击手机镜像画面即可暂停智能体,切换为手动操作。在Android上,触碰实体设备也会暂停智能体。此外还有全局停止快捷键:macOS为Option+Command+.,Windows和Linux为Ctrl+Alt+.。每次运行都会留下步骤日志、屏幕截图和录屏,并可导出为HTML格式供检查。
连接第一部手机#
如果可以选择,请先通过USB连接Android设备。文档中的设置步骤更简单,而且Pinky自带adb,通常无需另外安装Android开发环境。
1. 从仓库的发布页面下载合适的安装程序,然后打开Pinky。 2. 选择Add phone › Android,在手机上启用开发者选项和USB调试,然后连接数据线。 3. 允许手机上弹出的USB调试请求,并按照Pinky的设置指引操作,包括安装Companion应用。 4. 打开Settings › Agents连接智能体,先从“打开设置,告诉我Android版本”这样的只读请求开始。
Pinky宣称支持Android 10~17。Windows可能需要厂商提供的USB驱动程序,Linux可能需要Android的udev规则。Android 11及以上版本支持无线调试配对,但在排查Wi-Fi连接问题前,请先确认USB连接正常。
了解iPhone的限制#
项目宣称支持iOS 17.4及以上版本,但设置方法和验证情况因版本而异,差别很大。在iOS 27及以上版本中,Pinky使用Apple的Device Hub协议,无需安装辅助应用。随附文档报告称,已在搭载iOS 27.0.1的iPhone 13 mini上完成一整套操作。
在iOS 17.4~26上,点击和文字输入需要借助WebDriverAgent,并通过Xcode构建和安装。如果使用免费的Apple ID,则需每7天重新安装一次该辅助应用。文档明确指出,这种方法尚未在运行低于iOS 27版本的实体iPhone上测试。
初始准备需要USB数据线、设置信任电脑、启用开发者模式,以及Apple的开发者磁盘映像。设置完成后也可使用Wi-Fi,但获取屏幕截图可能会明显变慢。在项目测试的iPad上,USB连接约需1秒,Wi-Fi则约需5秒。
考虑Pre-alpha阶段的限制#
仓库区分了已实现的功能和经过人工验证的功能。远程解锁、后台任务、录屏、导出和Wi-Fi支持被列为已实现,但部分操作路径仍有待手动验证。在依赖某项功能前,请在docs/ACCEPTANCE.md中确认所用设备和操作系统的验证情况。
批准提示也需要在实际使用的应用中测试。Pinky称可识别10种语言中需要谨慎操作的按钮,但这并不保证它能识别所有自定义界面。前几次使用时,请为所有步骤启用批准,并在交付较长任务前检查运行记录。
下一步#
从仓库的发布页面安装Pinky,将所有步骤设为必须批准,然后在备用手机上执行上述Android版本查询任务。
来源: https://github.com/DIYgod/pinky
目录
