コミュニティのプロジェクトブラウザ・エージェント

Computer Use Jev

開発者 paulsmith

Jev が選んだアクセシビリティの対象を使って、macOS アプリを操作します。

概要

実装の概要

Go 製ツールが常駐する Swift ワーカーを使い、ネイティブの操作部品を調べます。実行時に見つかった対象から操作を選ぶループで、信頼度が低い場合の停止や、操作を実行しない動作にも対応します。

起動済みの TextEdit に指定の文字を入力するなど、範囲を絞った macOS デスクトップ操作を確認できます。Jev は実行時に観測したアプリ、ウィンドウ、アクセシビリティ要素から操作対象を選びます。

macOS 14 以降で Xcode Command Line Tools を使い Go コマンドをビルドします。実行するターミナルにアクセシビリティ権限を、スクリーンショットには画面収録権限を与え、Jev で実行する前に自分の TYPESAFE_API_KEY を設定します。

操作対象は macOS のネイティブアプリで、任意のブラウザー DOM ではありません。「開く」は起動済みアプリをアクティブにするだけです。信頼度が低い操作は停止します。dry run はデスクトップを観測・変更しませんが、複合目標では有料の LLM リクエストが発生する場合があります。

README の例です。ビルドと権限設定、API キーの設定を済ませ、TextEdit を起動してから指定の文字を入力します。

computer-use-jev -goal 'in TextEdit, type "hello world"'

プロジェクトを組み込む前に、小さなサンプルを編集して実際のリクエストをコピーできます。