专场出品人：张栋
腾讯专家工程师，数据工程负责人
腾讯专家工程师、AI Agent 架构师、研发&安全专家。拥有 10+ 年大型平台研发与架构经验，在腾讯先后负责大数据、网络、主机、代码、软件供应链等基础安全产品的海量并发设计与落地。当前专注于 AI Agent 安全与大模型供应链安全方向，主导腾讯多个 AI 原生场景从0孵化至规模化应用，致力于构建面向智能体时代的安全基础设施。
参与多项AI 、Agent、云安全国家标准制定；研究成果持续推进学术转化，2025年投递顶会论文 10+ 篇，多篇已被录用；国内外授权专利发明 20+ 项。
Agent评测：从Benchmark到生产级质量保障
专场定位：Agent评测体系正经历信任危机与范式重建——从单一Benchmark走向生产级全链路质量保障。
内容覆盖维度：
▪ 评测范式革新：从静态测试集到动态对抗评测、从单维度到多维度评估
▪ 生产级评测体系：端到端任务完成率、用户满意度、业务KPI改善等面向真实场景的评测指标
▪ Agent质量保障工程：CI/CD中的Agent测试、回归检测、性能基准、A/B测试框架
▪ 评测基础设施：标准化评测协议、可复现评测环境、社区共建评测数据集
徐为
AI Agent 从零到上生产的可观测体系与自进化飞轮
亚马逊云科技 资深解决方案架构师
亚马逊云科技资深解决方案架构师。硕士毕业于 Erasmus Mundus IMMIT 经济与 IT 管理专业。自 2006 年起，先后以研发工程师、数据工程师、解决方案架构师身份在 SonyEricsson、SAP SE、Alibaba Cloud、Tencent Cloud 等多家跨国企业从事 IT 相关工作超过 15 年，积累了丰富的跨行业技术实践经验。目前专注于帮助客户在云上构建优雅的解决方案，核心技术方向包括微服务架构、可观测性、AIOps 与 AgentOps。致力于将前沿学术成果与工程实践相结合，推动企业级 AI Agent 系统从 POC 走向可靠的生产落地。
议题背景：
89% 的 Agent 项目死于生产环境——不是模型不够强，而是缺少一个持续旋转的闭环来校准它。本 session 提出 Gödel Agentic Flywheel：一套将 AgentOps 方法论工程化为 Observe → Evaluate → Optimize → Govern 持续闭环的实践框架，并赋予其哥德尔递归性——飞轮不仅改进 Agent，还能改进自身的改进逻辑。
理论基础融合 Compound AI Systems（复合系统观）、Antifragility（反脆弱性）、Cybernetic Feedback Loop（控制论闭环）与 Evolutionary Architecture（演进式架构），并引用 2026 年最新学术成果：SARSI 递归自改进框架、MetaSkill-Evolve 双时间尺度元技能演进、AgentOps Automation Pipeline 六阶段自动化模型 等 7 篇前沿论文。
AWS 服务在飞轮中承担关键角色：Amazon Bedrock AgentCore（Runtime / Identity / Policy / Gateway / Memory / Evaluations / Observability / Optimization）构建飞轮引擎；Amazon CloudWatch Omni for Agents 提供 IDE-first 的 Agent+Infra 联动可观测、managed evaluators 与 A/B experiment 能力，实现从本地开发到生产的全链路闭环优化。
本方案已在多个大客户中验证落地，覆盖智能硬件、家电、生命科学、金融等行业的头部企业——从 AgentCore Evaluation & Observability 打法，到多租户 Agent 平台的观测隔离与合规，再到高风险场景的四象限全覆盖方案。从 Level 1 手动飞轮 到 Level 4 全自动 Gödel 飞轮，为你提供可复制的企业级 Agent 自进化路线图。我们将结合 Live Demo 演示 Strands / Claude Agent SDK 等不同 Agent 框架如何落地。
89% 的 Agent 项目死于生产环境——不是模型不够强，而是缺少一个持续旋转的闭环来校准它。本 session 提出 Gödel Agentic Flywheel：一套将 AgentOps 方法论工程化为 Observe → Evaluate → Optimize → Govern 持续闭环的实践框架，并赋予其哥德尔递归性——飞轮不仅改进 Agent，还能改进自身的改进逻辑。
理论基础融合 Compound AI Systems（复合系统观）、Antifragility（反脆弱性）、Cybernetic Feedback Loop（控制论闭环）与 Evolutionary Architecture（演进式架构），并引用 2026 年最新学术成果：SARSI 递归自改进框架、MetaSkill-Evolve 双时间尺度元技能演进、AgentOps Automation Pipeline 六阶段自动化模型 等 7 篇前沿论文。
AWS 服务在飞轮中承担关键角色：Amazon Bedrock AgentCore（Runtime / Identity / Policy / Gateway / Memory / Evaluations / Observability / Optimization）构建飞轮引擎；Amazon CloudWatch Omni for Agents 提供 IDE-first 的 Agent+Infra 联动可观测、managed evaluators 与 A/B experiment 能力，实现从本地开发到生产的全链路闭环优化。
本方案已在多个大客户中验证落地，覆盖智能硬件、家电、生命科学、金融等行业的头部企业——从 AgentCore Evaluation & Observability 打法，到多租户 Agent 平台的观测隔离与合规，再到高风险场景的四象限全覆盖方案。从 Level 1 手动飞轮 到 Level 4 全自动 Gödel 飞轮，为你提供可复制的企业级 Agent 自进化路线图。我们将结合 Live Demo 演示 Strands / Claude Agent SDK 等不同 Agent 框架如何落地。
内容大纲：
1. Why 89%: Agent 项目死在生产的真正原因
1.1 非确定性系统的三个失败模式：drift、tool 幻觉、reasoning cascade
1.2 传统 MLOps 为什么救不了 Agent：静态模型 vs. 有状态多步执行体
1.3 三个真实事故复盘（客服 Agent / 医疗 Agent / 交易 Agent）
1.2 传统 MLOps 为什么救不了 Agent：静态模型 vs. 有状态多步执行体
1.3 三个真实事故复盘（客服 Agent / 医疗 Agent / 交易 Agent）
2. Gödel Agentic Flywheel：理论基础
2.1 复合 AI 系统（Compound AI Systems）作为分析单元
2.2 Antifragility：从"抗故障"到"以故障为食"
2.3 Cybernetic Feedback Loop 与 Evolutionary Architecture
2.4 哥德尔递归性：为什么飞轮要能改进自己的改进逻辑
2.5 引用的 7 篇 2026 前沿论文速览（SARSI / MetaSkill-Evolve / AgentOps Automation Pipeline 等）
2.2 Antifragility：从"抗故障"到"以故障为食"
2.3 Cybernetic Feedback Loop 与 Evolutionary Architecture
2.4 哥德尔递归性：为什么飞轮要能改进自己的改进逻辑
2.5 引用的 7 篇 2026 前沿论文速览（SARSI / MetaSkill-Evolve / AgentOps Automation Pipeline 等）
3. 飞轮四象限：Observe → Evaluate → Optimize → Govern
3.1 Observe — traces / tokens / tool calls / reasoning chain 的最小采集集
3.2 Evaluate — LLM-as-judge、Golden Set、Human-in-the-loop 的取舍
3.3 Optimize — Prompt / Model / Tool topology / Memory 四类可优化面
3.4 Govern — Identity、Policy、Guardrail、Audit 的分层部署
3.5 四象限之间的信号契约与数据流
3.2 Evaluate — LLM-as-judge、Golden Set、Human-in-the-loop 的取舍
3.3 Optimize — Prompt / Model / Tool topology / Memory 四类可优化面
3.4 Govern — Identity、Policy、Guardrail、Audit 的分层部署
3.5 四象限之间的信号契约与数据流
4. AWS 飞轮引擎：AgentCore + CloudWatch Omni
4.1 AgentCore 八件套映射到飞轮的四个象限
4.2 CloudWatch Omni for Agents：IDE-first 的开发期可观测
4.3 Managed Evaluators 与 A/B Experiment：从本地跑分到线上灰度
4.4 一份 traces 三处复用：调试、评测、优化
4.2 CloudWatch Omni for Agents：IDE-first 的开发期可观测
4.3 Managed Evaluators 与 A/B Experiment：从本地跑分到线上灰度
4.4 一份 traces 三处复用：调试、评测、优化
5. 成熟度模型 Level 1 → Level 4
5.1 Level 1 手动飞轮：人评 + 静态基线
5.2 Level 2 半自动：eval 集自动化、告警驱动优化
5.3 Level 3 自动优化：Prompt/Tool 拓扑自动搜索
5.4 Level 4 Gödel 飞轮：飞轮改进自身评测标准与优化策略
5.5 每一级的组织、KPI、投入产出
5.2 Level 2 半自动：eval 集自动化、告警驱动优化
5.3 Level 3 自动优化：Prompt/Tool 拓扑自动搜索
5.4 Level 4 Gödel 飞轮：飞轮改进自身评测标准与优化策略
5.5 每一级的组织、KPI、投入产出
6. 大客户实证与落地
6.1 智能硬件与家电行业多家头部客户 — AgentCore Evaluation & Observability 打法
6.2 生命科学行业头部客户 — 多租户 Agent 平台的观测隔离与合规
6.3 金融行业头部客户 — 四象限全覆盖：从客服到风控的分层飞轮
6.4 三段客户旅程图与"从 Level N 到 Level N+1"的关键决策
6.2 生命科学行业头部客户 — 多租户 Agent 平台的观测隔离与合规
6.3 金融行业头部客户 — 四象限全覆盖：从客服到风控的分层飞轮
6.4 三段客户旅程图与"从 Level N 到 Level N+1"的关键决策
7. Live Demo：不同框架落地飞轮
7.1 Strands Agents 的埋点与评测接入
7.2 Claude Agent SDK 的 Trace 输出与 CloudWatch Omni 联动
7.3 同一 eval 集跑三个框架的对比可视化
7.4 触发一次 Prompt 优化 → 灰度 → 回滚全链路
7.2 Claude Agent SDK 的 Trace 输出与 CloudWatch Omni 联动
7.3 同一 eval 集跑三个框架的对比可视化
7.4 触发一次 Prompt 优化 → 灰度 → 回滚全链路
8. 关键收益与下一步
8.1 Takeaway：可复制的企业级自进化路线图（模板下载）
8.2 常见反模式与陷阱清单
8.3 Q&A
8.2 常见反模式与陷阱清单
8.3 Q&A
听众收益：
1. 能够画出自己的 Agent 项目当前处在飞轮的哪一个 Level
2. 拿到一份可直接套用的 Observe / Evaluate / Optimize / Govern 信号契约模板
3. 理解 AgentCore + CloudWatch Omni 的具体接入路径
4. 看到 Strands / Claude Agent SDK 在同一飞轮下的实测差异
5. Positioning 与差异化（对内说明）
6. 面向 Agent Builder，问题陈述从"生产死亡率"切入，学术引用 + 框架 demo 是这个场次的差异点
7. 竞品往往只讲 AgentCore 单一产品或某一个框架；本 session 提供的是理论—方法—产品—落地贯穿的完整叙事
8. 与 re:Invent 2026 COP302/303/318/325 相比，本 session 提出的是方法论抽象层，而不是产品 how-to
1. 能够画出自己的 Agent 项目当前处在飞轮的哪一个 Level
2. 拿到一份可直接套用的 Observe / Evaluate / Optimize / Govern 信号契约模板
3. 理解 AgentCore + CloudWatch Omni 的具体接入路径
4. 看到 Strands / Claude Agent SDK 在同一飞轮下的实测差异
5. Positioning 与差异化（对内说明）
6. 面向 Agent Builder，问题陈述从"生产死亡率"切入，学术引用 + 框架 demo 是这个场次的差异点
7. 竞品往往只讲 AgentCore 单一产品或某一个框架；本 session 提供的是理论—方法—产品—落地贯穿的完整叙事
8. 与 re:Invent 2026 COP302/303/318/325 相比，本 session 提出的是方法论抽象层，而不是产品 how-to
张海立
Agent 可观测性的开源实践：从框架、应用接入到数据入库
LangChain Ambassador
《LangGraph实战》《LangChain实战》作者，LangChain 官方大使，ADPS 核心专家，LFAPAC 开源布道师。B 站万粉 UP 主，长期关注和致力于 GenAI、云原生和前沿互联网技术的技术落地和推广。曾就职于英特尔亚太研发有限公司，担任高级研发经理和架构师。
议题背景：
企业引入 Agent 后，经常遇到这些问题：一次任务调用了哪些模型和工具，为什么响应慢，Token 消耗在哪里，执行出错后如何排查？本次分享结合 AI Vision 的建设实践，从这些实际问题出发介绍 Agent 观测的价值，分别讲解 Agent Framework 与 Agent App 的接入方式，并沿着采集、传输、处理和入库链路，说明观测数据如何产生、如何关联，以及企业如何开始建设自己的观测能力。
企业引入 Agent 后，经常遇到这些问题：一次任务调用了哪些模型和工具，为什么响应慢，Token 消耗在哪里，执行出错后如何排查？本次分享结合 AI Vision 的建设实践，从这些实际问题出发介绍 Agent 观测的价值，分别讲解 Agent Framework 与 Agent App 的接入方式，并沿着采集、传输、处理和入库链路，说明观测数据如何产生、如何关联，以及企业如何开始建设自己的观测能力。
内容大纲：
1. 为什么需要 Agent 观测
1.1 从一次任务看 Agent 的运行过程：模型调用、工具执行、多轮交互。
1.2 企业关心的实际问题：使用情况、Token 消耗、响应速度与执行异常。
1.3 执行链路、事件和指标分别记录什么，如何帮助团队理解和排查问题。
1.2 企业关心的实际问题：使用情况、Token 消耗、响应速度与执行异常。
1.3 执行链路、事件和指标分别记录什么，如何帮助团队理解和排查问题。
2. Agent Framework 如何接入观测
2.1 自研 Agent 应用中，框架能提供哪些观测信息。
2.2 通过 SDK、回调或埋点采集模型与工具调用。
2.3 关联用户请求、会话和执行步骤，补充应用侧业务信息。
2.2 通过 SDK、回调或埋点采集模型与工具调用。
2.3 关联用户请求、会话和执行步骤，补充应用侧业务信息。
3. Agent App 如何接入观测
3.1 自研应用直接接入与现成 Agent 应用接入的区别。
3.2 通过应用接口、Hooks 或插件采集运行事件。
3.3 以 Coding Agent 为例，串起用户任务、模型调用和工具执行，并说明能采到什么、可能缺少什么。
3.2 通过应用接口、Hooks 或插件采集运行事件。
3.3 以 Coding Agent 为例，串起用户任务、模型调用和工具执行，并说明能采到什么、可能缺少什么。
4. 观测数据如何进入数据平面
4.1 端到端链路：Agent → 采集端 → Collector → 数据处理 → 存储。
4.2 为什么需要统一协议和字段语义，如何处理不同来源的数据。
4.3 入库前需要考虑的事项：身份与空间关联、敏感信息处理、批量发送与失败重试。
4.4 入库后的基本用途：查看执行轨迹、统计用量与耗时、检索异常记录。
4.2 为什么需要统一协议和字段语义，如何处理不同来源的数据。
4.3 入库前需要考虑的事项：身份与空间关联、敏感信息处理、批量发送与失败重试。
4.4 入库后的基本用途：查看执行轨迹、统计用量与耗时、检索异常记录。
听众收益：
理解 Agent 观测能帮助企业解决哪些实际问题。
分清 Agent Framework 与 Agent App 的接入位置和实施方式。
看懂从应用运行到观测数据入库的完整链路。
明确首次接入需要采集哪些数据、补充哪些上下文，以及如何检查数据是否可用。
李赫
数科 AI Agent 评测实践：推动成本、性能、效果的帕累托改进
蚂蚁数科 AI 评测组负责人
负责蚂蚁数科AI业务整体质量及质量效能平台建设工作，主导构建智能体评测平台&蚂蚁数科质量平台，覆盖从算法验证到业务交付的全链路质量管控。10余年软件开发及测试经验，擅长测试工具开发、质量效能平台建设等方向有丰富的落地经验，曾任职网易、淘宝、腾讯音乐等公司，个人累计申请多篇专利、软著，担任多场行业峰会讲师。
议题背景：
智能体评测正从「答得对不对」转向「任务完成度与执行链路」。本次分享数科的评测体系完整实践、三元组评测模型与混合式机评引擎，并结合金融、编码、办公智能体案例，推动成本、性能、效果的帕累托改进。
智能体评测正从「答得对不对」转向「任务完成度与执行链路」。本次分享数科的评测体系完整实践、三元组评测模型与混合式机评引擎，并结合金融、编码、办公智能体案例，推动成本、性能、效果的帕累托改进。
内容大纲：
1. 认知对齐：AI Agent 评测的范式转移
1.1 什么是 AI Agent 评测？
从“短程问答（Query-Answer）”到“长程任务系统（Prompt-Trace）”的演进。
评测对象的本质变化：不再仅关注“回答质量”，而是评估“任务完成度、推理过程与执行链路”。
评测对象的本质变化：不再仅关注“回答质量”，而是评估“任务完成度、推理过程与执行链路”。
1.2 为什么评测如此重要？
跨越 Demo 到生产的鸿沟：解决“能稳定跑”与“偶尔跑通”之间的巨大差异。
构建业务护城河：通用模型无法替代垂直业务逻辑，评测是保障业务安全与合规的底线。
构建业务护城河：通用模型无法替代垂直业务逻辑，评测是保障业务安全与合规的底线。
1.3 业界主流做法与痛点
传统痛点：过度依赖人工（成本高、不可持续）、单一维度评估（缺乏全局视角）。
演进方向：从“打分动作”走向“基础设施能力”，实现“看得见问题、说得清标准、批量规模化、能迭代优化”。
演进方向：从“打分动作”走向“基础设施能力”，实现“看得见问题、说得清标准、批量规模化、能迭代优化”。
2. 核心解法：数科 AI Agent 评测体系与架构
2.1 数科的评测场景与体系矩阵
多维评估框架：功能正确性（P0）、效率与成本（P1）、安全与鲁棒性（P1）、业务效果与体验（P2）。
评测单元分层：Response-level（单次输出）、Step-level（单步行为）、Episode-level（完整轨迹）、Session-level（长周期业务）。
评测单元分层：Response-level（单次输出）、Step-level（单步行为）、Episode-level（完整轨迹）、Session-level（长周期业务）。
2.2 全链路技术方案：从数据到自动化机评
评测数据生成：四层场景化用例设计（触发、核心、产物、异常容错），涵盖黄金集、边界集与对抗集。
三元组评测模型：构建 Prompt（任务） - Expected Behavior（预期） - Trace（执行轨迹） 的标准化评测单元。
混合式自动化机评引擎：
确定性评分器：基于代码/规则（如正则、断言）进行硬指标校验，保障高效、客观、可复现。
Rubric 模型评分器（LLM-as-Judge）：处理推理连贯性、风格对齐等软指标，实现规模化复用。
人工校准机制：作为黄金标准，用于对齐模型评委、建立 Ground Truth 及异常诊断。
三元组评测模型：构建 Prompt（任务） - Expected Behavior（预期） - Trace（执行轨迹） 的标准化评测单元。
混合式自动化机评引擎：
确定性评分器：基于代码/规则（如正则、断言）进行硬指标校验，保障高效、客观、可复现。
Rubric 模型评分器（LLM-as-Judge）：处理推理连贯性、风格对齐等软指标，实现规模化复用。
人工校准机制：作为黄金标准，用于对齐模型评委、建立 Ground Truth 及异常诊断。
2.3 实战案例分享
案例一：银行金融智能体评测
场景挑战：金融分析类回答无唯一正解，传统"对答案"式评测失效；LLM-as-Judge自身幻觉导致机评结论不可信；端到端评测维度相互耦合；生产数据受银行合规约束，不可出域。
解决方案：以四元组精准匹配把开放式对错判断降维为封闭式证据核验——抽取「时间×主体×指标×数值」与「主体×内容×来源×结论」两类四元组，逐条锚定参考资料匹配，切断 Judge 动用自身知识的路径，配合归因体系从架构上抑制幻觉；将端到端评测拆解为可独立收敛的维度，做到"评一个、修一个、验一个"；打通 T-1生产数据回流脱敏，构建每日自动化质检闭环。
效果：成本上，人工评测工作量降低 60%+；性能上，机评吞吐约 1 万题/天，迭代周期由 2 周/轮压缩至 1 周/维度；效果上，覆盖 50+ 场景、1 万+ 题、24+轮迭代，机评精准率优先，结论可直接进入优化决策链。
案例二：AiWork 评测
场景挑战：多轮交互、工具调用频繁、跨系统操作。
解决方案：构建 Trace 追踪系统，评估工具选择准确率、参数生成正确性及死循环/过度调用情况。
效果：实现端到端延迟与 Token 消耗的最优平衡，提升任务首解率。
场景挑战：金融分析类回答无唯一正解，传统"对答案"式评测失效；LLM-as-Judge自身幻觉导致机评结论不可信；端到端评测维度相互耦合；生产数据受银行合规约束，不可出域。
解决方案：以四元组精准匹配把开放式对错判断降维为封闭式证据核验——抽取「时间×主体×指标×数值」与「主体×内容×来源×结论」两类四元组，逐条锚定参考资料匹配，切断 Judge 动用自身知识的路径，配合归因体系从架构上抑制幻觉；将端到端评测拆解为可独立收敛的维度，做到"评一个、修一个、验一个"；打通 T-1生产数据回流脱敏，构建每日自动化质检闭环。
效果：成本上，人工评测工作量降低 60%+；性能上，机评吞吐约 1 万题/天，迭代周期由 2 周/轮压缩至 1 周/维度；效果上，覆盖 50+ 场景、1 万+ 题、24+轮迭代，机评精准率优先，结论可直接进入优化决策链。
案例二：AiWork 评测
场景挑战：多轮交互、工具调用频繁、跨系统操作。
解决方案：构建 Trace 追踪系统，评估工具选择准确率、参数生成正确性及死循环/过度调用情况。
效果：实现端到端延迟与 Token 消耗的最优平衡，提升任务首解率。
3. 价值升华：推动成本、性能、效果的帕累托改进
3.1 帕累托改进的落地体现
成本（Cost）：通过自动化机评替代大量人工，降低单次评测成本；通过效率指标优化 Token 消耗与并发。
性能（Performance）：通过过程质量评估与异常诊断，提升端到端响应时间与任务完成率。
效果（Effectiveness）：通过业务指标对齐与人工校准，确保 Agent 真正解决业务痛点，提升用户满意度。
性能（Performance）：通过过程质量评估与异常诊断，提升端到端响应时间与任务完成率。
效果（Effectiveness）：通过业务指标对齐与人工校准，确保 Agent 真正解决业务痛点，提升用户满意度。
3.2 我们的未来方向
从静态评测到动态闭环：将生产故障与 Bad Case 自动沉淀回数据集，形成“评测-优化飞轮”。
环境耦合与仿真：探索更真实的 Mock 与真实调用混合环境，提升评测的可复现性与泛化能力。
评测即服务（Evaluation as a Service）：将评测能力平台化，赋能更多业务线快速接入。
环境耦合与仿真：探索更真实的 Mock 与真实调用混合环境，提升评测的可复现性与泛化能力。
评测即服务（Evaluation as a Service）：将评测能力平台化，赋能更多业务线快速接入。
4. 总结：评测是 AI Agent 走向成熟的基石
核心观点重申：没有评测就没有优化，评测不仅是质检员，更是导航仪。
愿景展望：持续打磨“看得见、说得清、规模化、能迭代”的评测基础设施，让 AI Agent 真正从“玩具”变成生产力工具。
愿景展望：持续打磨“看得见、说得清、规模化、能迭代”的评测基础设施，让 AI Agent 真正从“玩具”变成生产力工具。
听众受益：
1. 目标：
1. 目标：
帮助企业理解Agent时代智能体质量保障面临的新挑战，建立从单点评测走向全生命周期质量管理的思考方式，为企业智能体规模化应用提供方法论参考。
2. 成功要点：
智能体落地的核心挑战正在从“模型能力提升”转向“业务可靠性保障”，需要建立系统化质量保障体系。
统一的质量标准和高质量评测数据，是保障智能体效果稳定的基础。
自动化评测与人工评审相结合，能够兼顾评测效率与业务准确性。
将生产问题、用户反馈沉淀为评测资产，建立“评测—分析—优化—验证”的持续闭环，是推动智能体持续演进的关键。
金融行业实践表明，智能体规模化应用不仅需要技术能力，更需要配套的质量管理体系。
统一的质量标准和高质量评测数据，是保障智能体效果稳定的基础。
自动化评测与人工评审相结合，能够兼顾评测效率与业务准确性。
将生产问题、用户反馈沉淀为评测资产，建立“评测—分析—优化—验证”的持续闭环，是推动智能体持续演进的关键。
金融行业实践表明，智能体规模化应用不仅需要技术能力，更需要配套的质量管理体系。
3. 启示：
帮助企业建立智能体质量保障体系，实现智能体能力可评估、问题可定位、效果可优化。
推动AI应用从一次性验证走向持续运营和持续演进。
为企业构建可信、可控、可规模化复制的智能体应用提供实践路径。
推动AI应用从一次性验证走向持续运营和持续演进。
为企业构建可信、可控、可规模化复制的智能体应用提供实践路径。
周依涛
评测即奖励：Agent 自进化时代的评测范式重建
腾讯 广告 研发工程师
腾讯广告研发工程师，长期深耕广告数据平台，负责海量数据从接入、治理、管控到应用的全链路建设，持续探索 AI 深度参与研发与质量保障的实践路径。当前，专注于 Agent 工程化与评测，主导构建评测驱动的 Agent 自进化体系，推动 Agent 从“用过即忘”走向“越用越准”，已在研发、运维、安全与业务增长等核心场景规模化落地。相关实践多次获评腾讯内部提效优秀案例，并荣获公司级 AI 作品奖项。近半年，在司内外发表 Agent 系列文章，总浏览量超 10 万；在腾讯学堂讲授 Harness 工程实践课程，受邀做客 AI 主题播客分享一线思考，并创办司内 AI 技术社群，连接跨团队实践者，促进经验沉淀与共享。
议题背景：
从 Benchmark 到生产级质量保障，评测正迎来第三次角色迁移：当它开始驱动 Agent 进化，就从"测量工具"变成"奖励函数"——而奖励函数一旦失真，Agent 会加速学错。本次分享提出"评测即奖励"视角，系统拆解进化回路带来的五类新病灶：奖励投机、归因幻觉、过拟合与漂移、目标错配、覆盖盲区；进而给出"信号→积累→落地→控制"的进化飞轮方法论，以及 Living Evaluation、评测债等可带走的工具，帮助团队把评测从报告里的分数，变成真正驱动 Agent 变好的引擎。
从 Benchmark 到生产级质量保障，评测正迎来第三次角色迁移：当它开始驱动 Agent 进化，就从"测量工具"变成"奖励函数"——而奖励函数一旦失真，Agent 会加速学错。本次分享提出"评测即奖励"视角，系统拆解进化回路带来的五类新病灶：奖励投机、归因幻觉、过拟合与漂移、目标错配、覆盖盲区；进而给出"信号→积累→落地→控制"的进化飞轮方法论，以及 Living Evaluation、评测债等可带走的工具，帮助团队把评测从报告里的分数，变成真正驱动 Agent 变好的引擎。
内容大纲：
1. 评测的第三次角色迁移：从质量门禁到进化引擎
1.1 共识地基：评测对象（答案→轨迹）、评测单元分层、多维评估（正确性/效率/鲁棒/体验）
1.2 现象：评测信号止步于报告，Agent 上线半年仍在重复旧错
1.3 趋势：基座能力趋同，上线后的学习速度成为核心壁垒
1.4 本质：Harness 层自进化是文本空间里的优化，评测即奖励函数
1.5 角色：方向指引、质量门控、经验筛选三重职责
1.2 现象：评测信号止步于报告，Agent 上线半年仍在重复旧错
1.3 趋势：基座能力趋同，上线后的学习速度成为核心壁垒
1.4 本质：Harness 层自进化是文本空间里的优化，评测即奖励函数
1.5 角色：方向指引、质量门控、经验筛选三重职责
2. 评测深水区：当评测成为奖励，会出什么事
2.1 奖励投机：评测在教 Agent 犯错：弱评估器的系统性偏差与元评测校准
2.2 归因幻觉："变好了"不等于"因我而变好"：Skill 四层验证、预算对等评估与多 Agent 分层归因
2.3 过拟合与漂移：旧集刷高分、线上却退步：评测集三分隔离、Living Evaluation 与评测债
2.4 目标错配：每步都在变好、累积却走偏：对齐漂移的识别与方向性防护
2.5 覆盖盲区：评不到的地方才是风险所在：分布覆盖度对账与异常轨迹回流
2.2 归因幻觉："变好了"不等于"因我而变好"：Skill 四层验证、预算对等评估与多 Agent 分层归因
2.3 过拟合与漂移：旧集刷高分、线上却退步：评测集三分隔离、Living Evaluation 与评测债
2.4 目标错配：每步都在变好、累积却走偏：对齐漂移的识别与方向性防护
2.5 覆盖盲区：评不到的地方才是风险所在：分布覆盖度对账与异常轨迹回流
3. 进化飞轮：让评测信号流动起来
3.1 四齿飞轮与四条数据通路：瓶颈在环节之间的衔接，不在单个环节
3.2 信号分诊与进化流水线：Diff 化候选、分层门控、灰度回滚、全量版本化
3.3 记忆治理与双时钟评测：同步评测抓单点、异步复盘抓慢变量
3.4 任务形态谱系：确定性、开放式、高代价判定三类任务的信号源设计与实践
3.5 飞轮健康度：信号流通率、闭环周期、净进化率三个可带走的指标
3.2 信号分诊与进化流水线：Diff 化候选、分层门控、灰度回滚、全量版本化
3.3 记忆治理与双时钟评测：同步评测抓单点、异步复盘抓慢变量
3.4 任务形态谱系：确定性、开放式、高代价判定三类任务的信号源设计与实践
3.5 飞轮健康度：信号流通率、闭环周期、净进化率三个可带走的指标
4. 人与组织：进化越自动，人越关键
4.1 分级自主、渐进放权与审核疲劳的破解
4.2 评测即规约：人的角色从执行者转向"好标准"的定义者
4.3 飞轮断在组织边界：面向闭环而非组件的责任设计
4.4 从最小闭环到飞轮运转的四阶段落地路线，与"哪些场景不该搭飞轮"的边界
4.2 评测即规约：人的角色从执行者转向"好标准"的定义者
4.3 飞轮断在组织边界：面向闭环而非组件的责任设计
4.4 从最小闭环到飞轮运转的四阶段落地路线，与"哪些场景不该搭飞轮"的边界
听众受益：
1. 建立一个新视角：评测进入进化回路后即是 Agent 的"奖励函数"，理解它为何能让 Agent 加速变好、也能加速变坏
2. 掌握五类深水区问题（奖励投机、归因幻觉、过拟合漂移、目标错配、覆盖盲区）的识别信号与应对方法
3. 获得一套"信号→积累→落地→控制"的进化飞轮方法论，看清飞轮转不起来的真正卡点在环节衔接
4. 带走飞轮健康度三指标与评测债自检清单，回去即可诊断自家评测体系的"隐性欠账"
5. 获得从最小闭环到飞轮运转的分阶段落地路线，以及"哪些场景不该搭飞轮"的反向判断
1. 建立一个新视角：评测进入进化回路后即是 Agent 的"奖励函数"，理解它为何能让 Agent 加速变好、也能加速变坏
2. 掌握五类深水区问题（奖励投机、归因幻觉、过拟合漂移、目标错配、覆盖盲区）的识别信号与应对方法
3. 获得一套"信号→积累→落地→控制"的进化飞轮方法论，看清飞轮转不起来的真正卡点在环节衔接
4. 带走飞轮健康度三指标与评测债自检清单，回去即可诊断自家评测体系的"隐性欠账"
5. 获得从最小闭环到飞轮运转的分阶段落地路线，以及"哪些场景不该搭飞轮"的反向判断
许欣雅
从AI生码到可信交付：芝麻信用ACS研发质量实践
蚂蚁集团 测试开发专家
蚂蚁集团芝麻信用技术部测试开发专家，长期从事复杂业务场景下的软件质量保障与工程实践。她先后深耕支付宝营销平台与芝麻回收业务，面对业务链路复杂、质量要求高的研发场景，持续探索更加系统、高效的质量保障方式。当前，她专注于 AI Coding 背景下的质量体系建设，关注智能体参与软件研发后，需求、设计、编码、测试与交付各阶段的质量风险与治理机制。她曾多次获得蚂蚁集团、支付宝及芝麻信用技术奖项，并在蚂蚁技术大学主讲《芝麻AI研发最佳实践&范式升级》课程，分享芝麻在AI研发实践与质量范式演进方面的探索。
议题背景：
AI 编码 Agent 正从代码补全工具走向能够自主完成需求分析、系统设计、代码实现和测试验证的研发参与者，人的角色也从 human-in-loop 逐渐转向 human-on-loop。研发效率提升后，质量问题同样可能被快速放大：需求阶段遗漏的业务决策，可能继续影响系统设计、代码和测试，直到交付末端才被发现。
为此，我们设计并落地了 ACS（Agentic Coding Supervisor）。ACS 依托蚂蚁集团成熟的软件工程规范、技术栈和研发协作体系，在芝麻信用真实业务研发链路中实践。芝麻信用业务涉及资金、数据、安全和高可用等多类质量要求，为验证编码 Agent 的可信交付能力提供了复杂而真实的工程环境。
ACS 将质量能力嵌入 AI 研发全过程：把需求、设计、编码、测试和发布建模为阶段化 Workflow Gate，通过 Hook 在 Agent 推进流程前自动检查制品；通过静态规则与 LLM 语义规则识别技术缺陷、业务风险和跨阶段偏移；发现问题后，将 finding 和修改建议返回给 Agent，形成自动修复与重新验证闭环。本次分享将结合真实案例，介绍质量活动如何从人工评审和末端测试，转化为可自动执行、可阻断、可追溯和可持续进化的软件研发基础设施。
内容大纲：
1. 编码 Agent 如何改变软件研发
AI 编码 Agent 正从代码补全工具走向能够自主完成需求分析、系统设计、代码实现和测试验证的研发参与者，人的角色也从 human-in-loop 逐渐转向 human-on-loop。研发效率提升后，质量问题同样可能被快速放大：需求阶段遗漏的业务决策，可能继续影响系统设计、代码和测试，直到交付末端才被发现。
为此，我们设计并落地了 ACS（Agentic Coding Supervisor）。ACS 依托蚂蚁集团成熟的软件工程规范、技术栈和研发协作体系，在芝麻信用真实业务研发链路中实践。芝麻信用业务涉及资金、数据、安全和高可用等多类质量要求，为验证编码 Agent 的可信交付能力提供了复杂而真实的工程环境。
ACS 将质量能力嵌入 AI 研发全过程：把需求、设计、编码、测试和发布建模为阶段化 Workflow Gate，通过 Hook 在 Agent 推进流程前自动检查制品；通过静态规则与 LLM 语义规则识别技术缺陷、业务风险和跨阶段偏移；发现问题后，将 finding 和修改建议返回给 Agent，形成自动修复与重新验证闭环。本次分享将结合真实案例，介绍质量活动如何从人工评审和末端测试，转化为可自动执行、可阻断、可追溯和可持续进化的软件研发基础设施。
内容大纲：
1. 编码 Agent 如何改变软件研发
1.1 从人主导开发转向 Agent 执行、人负责监督。
1.2 生码提速后，质量风险在研发链路中的传播与放大。
1.3 为什么传统 CI/CD 和末端测试不足以保障 Agent 交付。
1.2 生码提速后，质量风险在研发链路中的传播与放大。
1.3 为什么传统 CI/CD 和末端测试不足以保障 Agent 交付。
2. ACS 的全流程质量架构
2.1 将需求、设计、代码、测试和发布建模为阶段化门禁。
2.2 通过 Workflow Hook 自动触发检查、阻断、修复和重新验证。
2.3 使用 Passport 和审计记录管理阶段放行状态。
2.2 通过 Workflow Hook 自动触发检查、阻断、修复和重新验证。
2.3 使用 Passport 和审计记录管理阶段放行状态。
3. 面向软件研发的质量能力设计
3.1 静态规则守住代码、配置和技术规范等确定性边界。
3.2 LLM 规则识别业务闭环、设计一致性和上下文问题。
3.3 组合企业标准、专家经验、历史故障、业务规则和单次需求 Spec。
3.2 LLM 规则识别业务闭环、设计一致性和上下文问题。
3.3 组合企业标准、专家经验、历史故障、业务规则和单次需求 Spec。
4. 从芝麻信用真实案例看质量左移
4.1 需求阶段的数据合规风险：一份 PRD 同时暴露数据共享授权、接口准入和异常边界缺失，体现 LLM 语义审查对业务决策问题的识别能力。
4.2 跨阶段的幂等缺失：同一问题在需求、系统设计和代码阶段被连续发现，说明分阶段门禁关注的是不同层次的质量问题，而非重复检查；相关规则同时来自专家经验与历史修复记录的聚合。
4.3 策略与实现偏移：文档声明“按业务类目灰度”，实际设计却只有全局开关，ACS 识别出策略声明与控制模型无法相互承接。
4.4 接口双重高风险：同一接口同时出现访问控制缺失和数据库路由错误，展示安全与高可用规则协同审查的价值。
4.2 跨阶段的幂等缺失：同一问题在需求、系统设计和代码阶段被连续发现，说明分阶段门禁关注的是不同层次的质量问题，而非重复检查；相关规则同时来自专家经验与历史修复记录的聚合。
4.3 策略与实现偏移：文档声明“按业务类目灰度”，实际设计却只有全局开关，ACS 识别出策略声明与控制模型无法相互承接。
4.4 接口双重高风险：同一接口同时出现访问控制缺失和数据库路由错误，展示安全与高可用规则协同审查的价值。
5. 从质量工具到 AI 研发基础设施
5.1 将企业规范、专家经验、历史故障和代码修复沉淀为规则资产。
5.2 通过 Agent 修复、人工反馈和规则评测形成质量闭环。
5.3 推动质量能力从单点检查走向可观测、可治理和可进化。
5.2 通过 Agent 修复、人工反馈和规则评测形成质量闭环。
5.3 推动质量能力从单点检查走向可观测、可治理和可进化。
听众收益：
1. 理解 AI 编码 Agent 对软件研发流程、质量角色和交付方式带来的变化。
2. 获得一套将质量能力嵌入 Agent 研发全过程的 Workflow Gate 与 Hook 架构。
3. 通过蚂蚁集团工程体系和芝麻信用真实业务案例，了解如何把企业经验转化为 Agent 可执行的质量约束。
1. 理解 AI 编码 Agent 对软件研发流程、质量角色和交付方式带来的变化。
2. 获得一套将质量能力嵌入 Agent 研发全过程的 Workflow Gate 与 Hook 架构。
3. 通过蚂蚁集团工程体系和芝麻信用真实业务案例，了解如何把企业经验转化为 Agent 可执行的质量约束。
Agentic AICon 组委会是由业界多位资深技术专家发起，负责组织技术指导委员会，并和委员会的专家一起挖掘全球软件工程领域的创新技术，同时依托智盟创课国内领先的人才能力提升服务供应商，组织专业的会务服务团队，全面推进会议的顺利落地，保证参会者体验。
服务总线：400-183-9980
商务合作：151-2264-3988 木子
票务联系：185-1306-7287 静秋老师
E-mail：speaker@qecon.com.cn
关注SECon公众号
添加SECon小助手，获取
会议最新资讯
