桌面与浏览器自动化

wesclaw 可以操作你的电脑桌面和浏览器，实现真正的"AI 帮你干活"。

能力概览

能力层	说明	场景
Device Agent	操作桌面应用、截屏、剪贴板	自动化桌面任务
Playwright	控制用户浏览器	网页操作、表单填写
Headless Browser	服务端匿名浏览	爬取公开信息

Device Agent

wesclaw 内嵌了一个 Device Agent，能通过系统 API 操作桌面：

可用能力

能力	说明
截屏	截取当前屏幕内容
剪贴板读写	读取或写入系统剪贴板
打开应用	启动指定的桌面应用
系统通知	发送桌面通知
文件定位	在 Finder / 资源管理器中定位文件

使用示例

你：帮我截一下屏
AI：[截屏] 已截取当前屏幕，保存到收集箱。

你：把剪贴板里的文字翻译成英文
AI：[读取剪贴板] 原文: "会议纪要..."
    [翻译] Meeting minutes...
    [写入剪贴板] 已将翻译结果复制到剪贴板。

平台支持

平台	Device Agent
macOS	✅ 完整支持（Accessibility API）
Windows	✅ 基础支持（UIA）
Linux	🔧 计划中

Playwright 浏览器自动化

当 AI 需要操作你的浏览器时（例如登录某个网站、填写表单），wesclaw 通过 Playwright 控制浏览器：

工作方式

安装 wesclaw 浏览器扩展
扩展自动连接到 wesclaw
AI 可以在你的浏览器中导航、点击、输入

典型场景

代填表单 — "帮我在 OA 系统提交报销单"
信息收集 — "登录后台看一下本周销售数据"
自动化流程 — "每天帮我签到打卡"

安全机制

浏览器操作始终在你的视野中执行
涉及敏感操作（如支付）时 AI 会暂停等待你确认
你可以随时中断自动化操作

Headless 浏览器

用于不需要登录态的公开网页访问：

匿名模式，不携带用户 Cookie
在服务端执行（使用 chromedp）
适合爬取公开数据、验证链接等

安全与隐私

Device Agent 在本机运行，数据不离开你的电脑
桌面操作串行执行，同一时刻只有一个操作进行
断开 wesclaw 后所有自动化能力立即停止
Playwright 扩展仅在连接到 wesclaw 时活跃