社区项目浏览器与代理

Computer Use Jev

作者 paulsmith

通过 Jev 选择的辅助功能目标控制 macOS 应用。

项目概览

实现概述

Go 工具使用常驻 Swift 进程检查原生控件；决策循环从运行时发现的目标中选择，可在低置信度时停止，也可仅判断而不执行。

可研究或试运行有明确范围的 macOS 桌面任务，例如在已运行的 TextEdit 窗口输入指定文字。Jev 从运行时观察到的应用、窗口和辅助功能元素中选择动作。

在 macOS 14+ 上使用 Xcode 命令行工具构建 Go 命令。为终端授予辅助功能权限；截图还需屏幕录制权限。让 Jev 执行前需提供自己的 TYPESAFE_API_KEY。

工具操作的是 macOS 原生应用，并非任意浏览器 DOM。“打开”只激活已运行的应用，不会新启动应用。低置信度动作会停止；dry run 不检查或修改桌面，但复合目标仍可能产生付费 LLM 请求。

README 示例：构建命令、授予权限、配置 API 密钥并预先打开 TextEdit 后，输入指定文字。

computer-use-jev -goal 'in TextEdit, type "hello world"'

从可编辑示例开始，理解请求格式，再按项目文档接入。