GUI Agent 如何可靠完成任务?从多模态模型到跨端应用的系统设计与实践
AUUO.ai Pure-Vision QA Agent 技术负责人
1. AUUO.ai Pure-Vision QA Agent 技术负责人
2. 前快手资深架构师,负责 App 架构方向,支持近 4亿日活 App 的稳定性保障和近千人工程师团队开发效率提升
3. 爱奇艺资深工程师 负责游戏直播、移动客户端弹幕开发,领先应用 AI 技术于产品中,获得媒体关注,业界领先渲染技术
4. 同济软件工程
议题背景:
随着多模态大模型的发展,GUI Agent 正从界面理解与单步操作,走向浏览器、桌面和移动端的复杂任务执行,为信息采集、表单填写、文件处理和跨应用协作提供新的自动化路径。但要将模型能力转化为实际应用,仍需解决目标定位、多步规划、状态管理、失败恢复和结果验证等工程问题。
本次分享将围绕 GUI Agent 的完整技术链路,结合 Qwen-VL、UI-TARS 等模型,以及 Pi、mobile-use、Midscene 等系统的设计思路,拆解从视觉感知、任务编排到跨端执行的关键架构。在此基础上,通过典型应用场景,讨论如何选择有价值的任务、构建可验证的业务闭环,并通过评测和数据回流持续提升系统的可靠性与应用效果。
内容大纲:
1. GUI Agent 与 Computer Use:技术演进与核心挑战
1.1 从传统 UI 自动化到 GUI Agent:交互方式、任务范围与适用场景
1.2 浏览器、桌面和移动端的差异:界面观测、操作能力与环境约束
1.3 可靠执行的关键难点:动态界面、长程任务、状态变化与结果判定
2. VLM 能力底座:从看懂界面到生成操作
2.1 核心能力拆解:界面理解、目标定位(Grounding)、视觉推理与动作生成
2.2 Qwen-VL 与 UI-TARS:通用视觉能力与 GUI 专项能力的设计思路
2.3 模型选型与组合:规划和定位的分工,以及准确率、延迟和成本的权衡
3. Agent Harness 工程:如何组织可靠的执行闭环
3.1 以 Pi 为例:模型接入、工具扩展、会话状态与上下文管理
3.2 核心循环设计:观察界面—规划步骤—执行动作—验证状态—调整计划
3.3 长任务可靠性:进度记录、超时重试、失败恢复与人工接管
4. 跨端 Agent 系统设计:mobile-use、Midscene 与 Cua
4.1 mobile-use:移动端任务分解、设备交互与执行编排
4.2 Midscene:自然语言操作、视觉断言与自动化流程编排
4.3 Cua 等基础设施:操作接口、隔离环境与执行轨迹,连接模型、Harness 和设备
5. GUI Agent 应用落地:从任务执行到业务闭环
5.1 场景选择:识别适合 GUI Agent 的任务,评估自动化价值、实施难度与应用边界
5.2 典型应用:信息采集、表单填写、文件处理与跨应用流程协作
5.3 落地案例:从用户目标、执行过程到结果验收,分析成功经验、失败原因与改进路径
6. 评测体系、数据闭环与未来演进
6.1 分层评测:模型感知与定位能力、Agent 任务执行能力、应用结果与业务价值
6.2 评测集与指标:参考 OSWorld、AndroidWorld,结合业务任务衡量完成率、结果正确率、人工干预率、执行耗时与单任务成本
6.3 持续迭代:失败轨迹回流、可复用 Skills、任务记忆与人机协作
听众收益:
1. 理解 GUI Agent 的技术分层,明确 VLM、Agent Harness、操作框架与运行环境的职责。
2. 掌握跨端 GUI Agent 的设计方法,以及多步执行、失败恢复和结果验证的工程思路。
3. 了解 GUI Agent 的典型应用与场景选择方法,建立从任务设计、结果验收到效果评测的落地路径。