目次
Pinky ↗はAIエージェントをAndroidスマートフォンやiPhoneに接続し、デスクトップのウィンドウで操作の監視、承認、手動操作への切り替えを可能にします。監督下でスマートフォンの作業を任せる用途で試す価値はありますが、プレアルファ版のため、まずは予備の端末で始めるのが妥当です。
主なポイント#
- PinkyはmacOS、Windows、Linuxから、Claude Code、Codex、CursorなどのMCP対応エージェントをスマートフォンに接続します。
- 支払い、取引、送金にはデフォルトで承認が必要で、Settings › Safetyから承認対象を追加できます。
- Android 13以降では独立したバックグラウンドディスプレイを利用でき、それ以前のAndroid端末やiPhoneではメイン画面を使用します。
- Apache-2.0ライセンスで無料公開されており、アカウントは不要で、操作記録はコンピューター内に保存されます。
Pinkyで実際にできること#
Pinkyはエージェントにスマートフォンの画面を操作する機能を提供します。画面の読み取り、アプリの起動、タップ、スワイプ、文字入力が可能です。エージェントに作業を伝え、Pinkyのデスクトップウィンドウでその操作を見守ります。ウェブサイトやAPIではなく、モバイルアプリが必要な作業に役立ちます。
接続には、多くのエージェントツールが対応するプロトコル、MCPを使用します。PinkyはSettings › Agentsから対応エージェントを設定でき、手動設定用のMCPサーバーも公開できます。別のコンピューターやコンテナー内のエージェントはHTTP経由で接続できます。
デスクトップアプリはmacOS 12以降、x64版Windows 10または11、互換性のあるx86-64 Linux環境に対応しています。プロジェクトによると、ダウンロード容量は16~22 MB、Macでのアイドル時メモリ使用量は約70 MBです。これらはプロジェクト側の測定値であり、第三者によるベンチマークではありません。
承認を制御する仕組み#
Pinkyは、エージェントが文章による指示に従うことに頼らず、ゲートウェイで承認ルールを適用します。支払い、取引、送金はデフォルトでユーザーのクリックを待ちます。メッセージ、削除、注文、通話、インストール、外部リンク、設定変更にも承認を必須にでき、すべてのステップを承認対象にすることもできます。
銀行、ウォレット、パスワード管理アプリは、デフォルトでエージェントから見えない状態になります。エージェントは、特定の作業のために銀行やウォレットアプリへの一時的なアクセスを要求できます。また、Pinkyはパスワード欄やワンタイムコード欄へのエージェントによる入力をブロックし、新しいエージェントにはそれぞれユーザーの承認とアクセス範囲の指定が必要です。
スマートフォンのミラー画面をクリックするとエージェントが一時停止し、手動操作に切り替えられます。Androidでは実機に触れても一時停止します。グローバル停止ショートカットもあり、macOSではOption+Command+.、WindowsとLinuxではCtrl+Alt+.です。実行ごとにステップログ、スクリーンショット、画面録画が残り、確認用にHTML形式でエクスポートできます。
最初のスマートフォンを接続する#
選べるなら、まずAndroidをUSBで接続してください。文書化された設定手順がより簡単で、Pinkyにはadbが同梱されているため、通常はAndroid開発環境を別途インストールする必要がありません。
1. リポジトリのリリースページから適切なインストーラーをダウンロードし、Pinkyを開きます。 2. Add phone › Androidを選び、スマートフォンで開発者向けオプションとUSBデバッグを有効にしてから、ケーブルを接続します。 3. スマートフォンに表示されるUSBデバッグの確認を許可し、Companionアプリのインストールを含むPinkyの設定案内に従います。 4. Settings › Agentsを開いてエージェントを接続し、「設定を開いてAndroidのバージョンを教えて」のような読み取りのみの依頼から始めます。
PinkyはAndroid 10~17への対応を掲げています。WindowsではメーカーのUSBドライバー、LinuxではAndroid用のudevルールが必要になる場合があります。Android 11以降はワイヤレスデバッグのペア設定に対応していますが、Wi-Fi接続の問題を調べる前に、USB接続が動作することを確認してください。
iPhoneの制約を確認する#
プロジェクトはiOS 17.4以降への対応を掲げていますが、設定方法と検証状況はバージョンによって大きく異なります。iOS 27以降では、Pinkyは補助アプリをインストールせず、AppleのDevice Hubプロトコルを使用します。付属ドキュメントでは、iOS 27.0.1を搭載したiPhone 13 miniで一連の動作を実行できたと報告されています。
iOS 17.4~26では、タップと文字入力にWebDriverAgentが必要で、Xcodeでビルドしてインストールします。無料のApple IDを使う場合、この補助アプリを7日ごとに再インストールする必要があります。ドキュメントには、この方法はiOS 27未満の実機iPhoneではまだテストされていないと明記されています。
初期準備にはUSBケーブル、コンピューターの信頼設定、デベロッパモード、Appleの開発者用ディスクイメージが必要です。設定後はWi-Fiも使えますが、スクリーンショットの取得が大幅に遅くなる場合があります。プロジェクトがテストしたiPadでは、USBで約1秒だったのに対し、Wi-Fiでは約5秒かかりました。
プレアルファ版という制約を踏まえる#
リポジトリでは、実装済みの機能と人が動作を確認した機能を区別しています。リモートロック解除、バックグラウンド作業、録画、エクスポート、Wi-Fi対応は実装済みとされていますが、一部の動作経路は手動検証待ちです。機能を頼りにする前に、docs/ACCEPTANCE.mdで使用する端末とOSの検証状況を確認してください。
承認プロンプトも、実際に使うアプリでテストする必要があります。Pinkyは注意を要するボタンを10言語で認識するとしていますが、あらゆる独自インターフェースを認識できる保証にはなりません。最初の数回はすべてのステップで承認を有効にし、長い作業を任せる前に実行記録を確認してください。
次のステップ#
リポジトリのリリースページからPinkyをインストールし、すべてのステップで承認を必須にしたうえで、予備のスマートフォンで上記のAndroidバージョン確認を実行してください。
出典: https://github.com/DIYgod/pinky
目次
