macOS 14+ · Universal 2

DSH Computer Use

后台控制 Chromium 与 macOS 窗口，
不抢前台，不移动用户的鼠标。

用 Accessibility、CDP 与文本快照理解界面，把动作锁定到正确的进程和窗口，并在每一步之后重新确认结果。

下载最新版 DMG Homebrew 安装

Developer ID 签名与 Apple 公证 · Apache-2.0 开源

2Chromium 与 macOS 两个控制面

0 px定向输入不移动物理鼠标

Post-check动作后重新观察目标状态

INSTALL

选择 DMG 或 Homebrew

两种方式安装的是同一份 Developer ID 签名、Apple 公证的 Universal 2 App。系统中已有 DSH 和 Google Chrome 即可。

DIRECT DOWNLOAD

下载 DMG

适合图形界面安装。打开镜像后，将 DSH Computer Use 拖入“应用程序”。

下载最新版 DMG DSH-Computer-Use-*-universal.dmg

COMMAND LINE

Homebrew 安装

首次使用先显式添加并信任 Tap；之后可直接通过 Homebrew 升级和卸载。

terminal
brew tap zrui-c/tap
brew trust zrui-c/tap
brew install --cask dsh-computer-use
open -a "DSH Computer Use"
  1. 01

    安装并打开 App

    DMG 用户拖入“应用程序”；Homebrew 会自动安装到同一位置。随后打开 App。

  2. 02

    确认系统权限

    在设置中心授权“辅助功能”和“屏幕录制”。权限只在本机使用。

  3. 03

    安装 DSH 插件

    点击“安装”。Bundle 自动注册 Host 与工具，无需手改 YAML；随后重启 DSH Host。

CAPABILITIES

观察、锁定、执行、验证

模型收到的是可执行语义，不是要求它猜测截图。UI 与 OCR 文字始终被标记为不可信数据。

01Observe读取语义与状态
→
02Target锁定 PID 与窗口
→
03Act只执行一个动作
→
04Verify返回新的观察

CHROMIUM

网页是结构，不只是像素

  • Playwright 与 CDP Accessibility/DOM
  • 稳定 ref、frame、标签页与表单状态
  • 导航、点击、输入、选择、拖拽、上传

MACOS

后台窗口仍保持可验证

  • Accessibility 树优先，Vision OCR 补语义
  • AX、SkyLight、CoreGraphics 分层输入
  • 软件光标不接管物理指针

ARCHITECTURE

一份签名身份，两个运行模式

Finder 启动显示设置中心；DSH 使用同一个 App 的 --agent 模式启动后台 socket。两个模式共享稳定的 bundle ID 与 TCC 身份。

查看当前架构 →
PRODUCT

DSH Computer Use.app

权限状态、插件安装、诊断与同一签名下的后台 agent。

PERCEPTION

AX + CDP + Vision

先取语义，必要时补 OCR；截图是验证材料，不是默认模型上下文。

INPUT

目标优先，公开回退

AX 语义动作优先，再走目标进程/窗口输入；无目标时才允许全局 HID。

PLATFORM BOUNDARY

对 macOS 限制保持诚实

Stage Manager

macOS 26 的架上窗口可能只暴露缩略图。系统会保留 AX 观察并返回明确 warning，不拉伸伪截图，也不进入已知崩溃路径。

SkyLight

后台定向输入使用私有 API，因此完整版本通过 Developer ID 直接分发，不适合 Mac App Store。符号不可用时公开回退或失败关闭。

MODEL TOOLS

两个工具，闭合一次操作

computer_observeREAD

读取 browser 或 desktop 的文本快照，返回 snapshot_id、稳定 ref、状态和 warning。

detail
interactive · full · changes
ocr
auto · always · never
query
过滤大型页面或窗口
computer_actionWRITE

执行一次明确动作并立即返回动作后语义。过期 ref 会失败关闭，文件上传限制在 Session workspace。

clicktypepressscrolldragselectlaunch_appfocus

DEVELOPER

从源码构建与签名

默认构建 Universal 2；本地迭代可只编译当前架构。公开分发需要 Developer ID Application 和 Apple 公证。

证书、签名与公证 → 安全与平台边界 →
build
pnpm install
pnpm run typecheck
pnpm run test
pnpm run test:native
pnpm run build
local dmg
pnpm run package:dmg