2Chromium 与 macOS 两个控制面

0 px定向输入不移动物理鼠标

Post-check动作后重新观察目标状态

INSTALL

拖入应用程序，然后授权

普通用户不需要 Xcode、Swift 或源码目录。系统中已有 DSH 和 Google Chrome 即可。

01
安装 App

打开 Universal 2 DMG，将 DSH Computer Use 拖入“应用程序”。
02
确认系统权限

在设置中心授权“辅助功能”和“屏幕录制”。权限只在本机使用。
03
安装 DSH 插件

点击“安装”。Bundle 自动注册 Host 与工具，无需手改 YAML；随后重启 DSH Host。

打开 Releases 下载文件：DSH-Computer-Use-*-universal.dmg

CAPABILITIES

观察、锁定、执行、验证

模型收到的是可执行语义，不是要求它猜测截图。UI 与 OCR 文字始终被标记为不可信数据。

01Observe读取语义与状态

→

02Target锁定 PID 与窗口

→

03Act只执行一个动作

→

04Verify返回新的观察

CHROMIUM

网页是结构，不只是像素

Playwright 与 CDP Accessibility/DOM
稳定 ref、frame、标签页与表单状态
导航、点击、输入、选择、拖拽、上传

MACOS

后台窗口仍保持可验证

Accessibility 树优先，Vision OCR 补语义
AX、SkyLight、CoreGraphics 分层输入
软件光标不接管物理指针

ARCHITECTURE

一份签名身份，两个运行模式

Finder 启动显示设置中心；DSH 使用同一个 App 的 --agent 模式启动后台 socket。两个模式共享稳定的 bundle ID 与 TCC 身份。

查看当前架构 →

PRODUCT

DSH Computer Use.app

权限状态、插件安装、诊断与同一签名下的后台 agent。

PERCEPTION

AX + CDP + Vision

先取语义，必要时补 OCR；截图是验证材料，不是默认模型上下文。

INPUT

目标优先，公开回退

AX 语义动作优先，再走目标进程/窗口输入；无目标时才允许全局 HID。

PLATFORM BOUNDARY

对 macOS 限制保持诚实

Stage Manager

macOS 26 的架上窗口可能只暴露缩略图。系统会保留 AX 观察并返回明确 warning，不拉伸伪截图，也不进入已知崩溃路径。

SkyLight

后台定向输入使用私有 API，因此完整版本通过 Developer ID 直接分发，不适合 Mac App Store。符号不可用时公开回退或失败关闭。

MODEL TOOLS

两个工具，闭合一次操作

computer_observeREAD

读取 browser 或 desktop 的文本快照，返回 snapshot_id、稳定 ref、状态和 warning。

detail: interactive · full · changes
ocr: auto · always · never
query: 过滤大型页面或窗口

computer_actionWRITE

执行一次明确动作并立即返回动作后语义。过期 ref 会失败关闭，文件上传限制在 Session workspace。

clicktypepressscrolldragselectlaunch_appfocus

DEVELOPER

从源码构建与签名

默认构建 Universal 2；本地迭代可只编译当前架构。公开分发需要 Developer ID Application 和 Apple 公证。

证书、签名与公证 → 安全与平台边界 →

build

pnpm install
pnpm run typecheck
pnpm run test
pnpm run test:native
pnpm run build

local dmg

pnpm run package:dmg