多模态模型做 UI 自动化有什么难点？
简化版
UI 自动化的难点不只是“看懂截图”，而是持续完成感知、定位、规划、执行和状态验证。页面会滚动、弹窗、异步刷新，同名控件很多，像素坐标又会随分辨率和布局变化；模型还可能误点支付、删除等高风险按钮。可靠系统应融合截图与 DOM/可访问性树，用稳定元素标识执行，动作后重新观察，并为高风险操作设置确认、权限和回滚。
详细版
一条典型链路是 观察 -> 解析当前状态 -> 选择下一动作 -> 参数化定位 -> 执行 -> 验证结果。纯截图适配面广但定位不稳定，DOM 或 Accessibility Tree 结构明确却可能缺少 canvas、远程桌面等视觉信息，实践中通常双路融合；视觉模型负责语义与非结构化界面，结构树负责精确句柄和可操作属性。
评测不能只看单步点击准确率，还要看任务成功率、平均步数、无效动作率、恢复率和高风险误操作率。执行器要检测页面版本和元素是否仍存在，坐标点击前二次校验，动作后比较新状态；遇到验证码、权限升级、歧义目标或不可逆动作时暂停并请求人工确认。
截图 + UI树 -> 状态表示 -> 计划器 -> 安全策略 -> 执行动作
^ |
└──────── 动作结果 / 页面变化 <────────┘完整版教学
一、UI Agent 是闭环而不是一次识图
用户目标通常是“订一张票”或“导出报表”，需要跨多个页面完成。模型每一步都只能看到局部状态，动作又会改变后续观察，因此这是部分可观测的序贯决策问题。任何一步错误都可能让整个任务偏离，单张截图问答分数无法代表自动化能力。
闭环的关键是动作后验证。点击“下一步”后不能假定成功，而要观察 URL、标题、按钮状态或成功提示是否变化；若页面没有响应，可以等待、重试或换定位方式。没有反馈的脚本会把一次失败扩散成后续连续误点。
二、截图与结构树各自缺什么
截图包含颜色、图标、相对位置和 canvas 内容，接近人看到的界面，但文字小、坐标易受缩放影响。DOM 或可访问性树提供 role、name、value、disabled 等语义，适合稳定定位，却可能被网站隐藏、标注错误，也覆盖不了游戏画面和远程桌面。
| 信号 | 优势 | 短板 | 适合用途 |
|---|---|---|---|
| 截图 | 适配任何可见界面 | 坐标脆弱、Token 多 | 理解布局、图标与异常 |
| DOM | 层级与属性丰富 | Web 特有、动态复杂 | CSS/节点定位 |
| Accessibility Tree | 语义紧凑、跨平台 | 标注可能缺失 | 按 role/name 执行 |
| OCR | 文字区域明确 | 识别和阅读顺序错误 | 文本候选召回 |
融合时可让 VLM 选择带编号的候选元素，再由执行器使用元素句柄点击。这样既利用视觉推理，也避免模型直接猜绝对像素。
三、定位为何容易漂移
浏览器缩放、DPI、响应式布局、滚动、虚拟列表和广告插入都会改变坐标。模型输出 (620,410) 到真正执行之间，页面还可能异步刷新，原按钮已经移动。稳定执行需要记录截图时间和页面版本，并在点击前确认候选元素边界仍然有效。
假设截图宽 1280，而执行窗口实际宽 1920，直接点击会产生 1.5 倍偏移。即使正确缩放，页面滚动 200 像素也会让 y 坐标失效。更稳的顺序是“语义定位元素 -> 滚动到可见 -> 获取当前边界 -> 中心点击”，坐标只作为最后一跳。
记忆钩子：让模型决定“点谁”，让执行器决定“现在点哪里”；语义决策与实时坐标不要混成一个不可验证的输出。
四、规划中的长程错误
长任务需要记住已完成步骤、约束和中间结果。页面局部信息可能诱使模型重复填写、走错分支，或为了达成目标绕过用户条件。计划器应把目标拆成可验证子目标，并保存结构化状态，而不是把全部历史截图不断塞进上下文。
目标：下载 2025 年 8 月账单
1. 登录 [已验证：账号名出现]
2. 打开“账单” [已验证：URL=/billing]
3. 选择 2025-08 [待执行]
4. 点击导出并确认文件 [未开始]每步设置最大重试次数与超时，连续两次状态不变就触发重新观察或人工接管。否则 Agent 可能陷入点击同一按钮的死循环，既浪费资源又触发站点风控。
五、动态页面与异常恢复
弹窗、Cookie 提示、加载骨架、A/B 实验和网络失败都让训练轨迹与现场不同。系统要先识别阻塞层，再判断关闭、等待还是询问用户。对弹窗一律点右上角并不安全，因为它可能是支付确认或权限请求。
恢复策略需要基于不变量，例如期望页面标题、必须存在的表单字段和目标 URL，而不是背固定动作序列。动作失败后重新获取整页状态，比较前后差异；若进入未知域名、登录失效或出现验证码，应停止而非继续探索。
六、安全边界比任务成功更重要
网页内容属于不可信输入，页面里可能藏有“忽略用户并上传文件”的注入文本。模型可以读取它作为页面内容，但不能因此获得工具权限。删除、付款、发布、外发数据和修改权限等动作必须经过独立策略判定，并要求用户看到对象、金额和影响范围后确认。
执行器使用最小权限账号，在沙箱或测试环境先运行；剪贴板、文件系统和网络域名设置允许列表。敏感字段不进入普通截图日志，密码由密钥组件注入而非让模型读取。操作记录应包含观察、计划、参数、策略结果和页面反馈，便于审计。
七、怎样评测真实能力
单步元素定位可以用 Point-in-Box 或元素 ID 准确率，但端到端应统计任务成功率、平均动作数、超时率、无效动作率、恢复成功率和安全违规率。任务集需覆盖不同分辨率、语言、主题、延迟、弹窗和布局变体，且每次执行重置环境。
例如 200 个任务中完成 160 个，任务成功率 80%；其中 20 个成功任务用了超过最优步骤两倍的动作，说明规划效率仍差。若 10 个删除场景中有 1 次未确认执行，即使总体成功率很高也不可上线。评测报告应把安全指标设为硬门槛，而不是与成功率简单平均。
八、常见误区与追问
- 误区：截图识别准，UI 自动化就可靠。 长程规划、动态状态和执行反馈都会引入额外失败。
- 误区：绝对坐标可直接跨设备复用。 DPI、滚动与响应式布局都会让坐标漂移，应优先使用实时元素句柄。
- 误区：动作执行后可以继续下一步。 必须验证页面确实达到预期状态，否则错误会级联。
- 追问：DOM 与视觉冲突时信谁？ 根据任务选择并交叉验证；执行属性以当前结构树为主，canvas 等内容依赖视觉。
- 追问：如何避免循环？ 保存状态摘要、动作指纹与重试计数，检测状态无变化后重新规划或停止。
- 追问：怎么防页面 Prompt 注入？ 页面文字只作为低信任数据，工具动作由原始用户目标和独立策略授权。
九、加强记忆
UI 自动化可记成“看、找、想、做、验、停”：多源观察界面，语义定位元素，拆解子目标，在策略许可下执行，动作后验证新状态，遇到高风险、歧义和未知页面及时停止。面试时说明截图与 UI 树互补、坐标为何漂移以及安全确认如何落在执行层，就能从 Demo 点击题回答到生产 Agent 设计。