コミュニティのプロジェクトブラウザ・エージェント

TypeSafe Computer Use

開発者 awlevin

OCR とアクセシビリティ情報を、Jev による操作選択と組み合わせた macOS の制御ループ。

概要

実装の概要

clicker ツールが画面上の文字と操作部品を構造化した状態として読み取り、次の操作を Jev に尋ね、ローカル自動化で実行します。ドライランに対応し、入力欄に生成文が必要な場合は文章生成モデルを呼び出します。

macOS の画面収録とアクセシビリティの権限が必要です。

プロジェクトを組み込む前に、小さなサンプルを編集して実際のリクエストをコピーできます。