桌面自动化
Wesclaw 桌面端内置 Device Agent 能力，可以控制你的桌面操作系统——包括截屏、剪贴板、应用启动、系统通知等。这让 AI 助手从"对话工具"扩展为"桌面操作助手"。
概述
桌面自动化基于 Wesclaw 的 Device Agent 实现，通过 MCP 协议与 AI 引擎通信。
支持平台
| 平台 | 状态 | 说明 |
|---|---|---|
| macOS | ✅ 完整支持 | 基于 Accessibility API |
| Linux | ✅ 基础支持 | 基于 X11/Wayland |
| Windows | ✅ 基础支持 | 基于 UIA |
能力概览
| 能力 | 说明 |
|---|---|
| 截屏 | 截取屏幕内容 |
| 剪贴板 | 读取和写入剪贴板 |
| 应用启动 | 打开指定应用程序 |
| 系统通知 | 发送桌面通知 |
| 文件定位 | 在文件管理器中打开指定文件 |
注意：桌面自动化仅在 Wesclaw 桌面端（Electron）可用，SaaS 版不支持此功能。
Device Agent
什么是 Device Agent
Device Agent 是 Wesclaw 桌面端的本地自动化组件。它作为一个原生二进制程序运行在你的电脑上，通过 MCP（Model Context Protocol）协议向 AI 引擎暴露桌面操作能力。
工作原理
AI 对话 → wesgine 引擎 → MCP 协议 → Device Agent → 桌面操作系统
↓
执行结果返回
启用 Device Agent
通常 Device Agent 随 Wesclaw 桌面端自动启动。如果需要手动检查状态：
设置 → 桌面自动化 → Device Agent
状态：✅ 已连接 / ❌ 未连接
如果显示未连接：
1. 检查 Wesclaw 桌面端是否正常运行
2. 尝试重启 Wesclaw
3. 查看日志排查错误
截屏操作
基本截屏
截取当前屏幕
AI 会截取屏幕内容并保存到当前 Cell 的收件箱中。
截屏用途
截屏功能常用于以下场景：
- 界面分析：截取界面截图让 AI 分析 UI 设计
- 问题记录：截取错误界面用于问题排查
- 内容提取：截取含有文字信息的界面，AI 可以识别其中的文字
- 操作确认：自动化操作后截图确认结果
使用示例
用户：截取当前屏幕，帮我分析这个界面的布局问题
AI：[截取屏幕]
从截图中可以看出以下几个布局问题：
1. 导航栏高度不一致...
2. 侧边栏与主内容区的间距过大...
3. 底部按钮的对齐方式...
剪贴板
读取剪贴板
读取我剪贴板里的内容
AI 会读取当前剪贴板中的文本内容，然后你可以让 AI 对其进行处理：
用户：读取剪贴板内容，帮我翻译成英文
用户：读取剪贴板内容，帮我格式化这段代码
用户：读取剪贴板内容，帮我修改这段文字的语法错误
写入剪贴板
把以下内容复制到剪贴板：[内容]
或者在对话后：
把你刚才生成的代码复制到我的剪贴板
工作流示例
快速翻译工作流：
1. 在任意应用中复制要翻译的文本（Ctrl+C）
2. 切到 Wesclaw：读取剪贴板，翻译成中文
3. AI 翻译后写入剪贴板
4. 在目标位置粘贴（Ctrl+V）
代码格式化工作流：
1. 在 IDE 中复制一段凌乱的代码
2. 切到 Wesclaw：读取剪贴板内容，格式化这段代码
3. AI 格式化后写入剪贴板
4. 回到 IDE 粘贴
应用启动
打开应用
AI 可以帮你打开指定的应用程序：
打开计算器
打开终端
打开浏览器并访问 https://example.com
macOS 示例
打开 Safari
打开 Xcode
打开访达（Finder），定位到桌面文件夹
实际应用
多应用协作：
用户：帮我准备好开发环境
AI 执行：
1. 打开 VS Code
2. 打开终端
3. 打开浏览器，访问项目管理页面
4. 发送桌面通知"开发环境已就绪"
系统通知
发送通知
AI 可以发送系统级桌面通知：
发送一条桌面通知：标题"提醒"，内容"该喝水了"
通知场景
| 场景 | 用法 |
|---|---|
| 任务完成 | 长时间任务完成后通知你 |
| 定时提醒 | 配合定时任务发送提醒 |
| 异常告警 | 监控任务发现异常时通知 |
| 邮件到达 | 重要邮件到达时桌面通知 |
结合定时任务
创建定时任务：
- 每天 17:30 发送桌面通知："该写今天的工作日志了"
- 每小时整点发送通知："休息一下，站起来活动活动"
文件定位
在文件管理器中显示
AI 可以在系统文件管理器中定位并显示指定文件或文件夹：
在 Finder 中显示 ~/Desktop/report.pdf
打开项目文件夹 ~/Projects/my-app
使用场景
用户：帮我找到最近下载的 PDF 文件
AI：
1. 检查 ~/Downloads 目录
2. 找到最近的 PDF 文件：report-2026.pdf
3. [在 Finder 中打开该文件所在位置]
安全与权限
权限要求
桌面自动化需要以下系统权限：
| 平台 | 需要的权限 |
|---|---|
| macOS | 辅助功能（Accessibility） |
| macOS | 屏幕录制（截屏需要） |
| Linux | X11 或 Wayland 访问权限 |
| Windows | 无需额外权限 |
macOS 权限设置
- 打开「系统设置」→「隐私与安全性」
- 在「辅助功能」中添加 Wesclaw
- 在「屏幕与系统录制」中添加 Wesclaw
安全原则
- 最小权限：Device Agent 只执行 AI 请求的操作
- 操作串行：同一时刻只有一个桌面操作在执行
- 断开即失效：Wesclaw 关闭后，Device Agent 立即断开连接
- 不驻留后台：Device Agent 不在 Wesclaw 退出后继续运行
操作确认
对于可能产生副作用的操作，AI 会先请求确认：
AI：我需要执行以下操作：
- 打开终端
- 执行命令 "git push origin main"
确认执行？ [确认] [取消]
限制说明
不支持的操作
以下操作不在 Device Agent 的能力范围内：
- 摄像头/麦克风访问
- USB 设备控制
- 系统级设置修改
- 安装/卸载软件
- 修改文件权限
- 访问其他用户的文件
性能考虑
- 截屏操作可能产生较大的图片文件（>1MB）
- 频繁的桌面操作可能影响系统性能
- 建议不要在高负载时运行大量自动化任务
常见问题
Device Agent 未连接
现象：桌面自动化功能不可用。
排查：
- 确认 Wesclaw 桌面端正在运行
- 检查「设置 → 桌面自动化」中的连接状态
- 尝试重启 Wesclaw
macOS 权限问题
现象：截屏或剪贴板操作失败。
解决：
- 打开「系统设置」→「隐私与安全性」
- 找到「辅助功能」或「屏幕录制」
- 确认 Wesclaw 已添加并勾选
操作响应慢
现象：桌面操作执行后需要较长时间才有结果。
可能原因：
- 系统负载较高
- 目标应用启动缓慢
- AI 处理截图内容需要时间
建议：
- 关闭不需要的应用释放资源
- 对于截屏分析任务，耐心等待 AI 处理完成