专场出品人：
......
......
Agent评测：从Benchmark到生产级质量保障
专场定位：Agent评测体系正经历信任危机与范式重建——从单一Benchmark走向生产级全链路质量保障。
内容覆盖维度：
▪ 评测范式革新：从静态测试集到动态对抗评测、从单维度到多维度评估
▪ 生产级评测体系：端到端任务完成率、用户满意度、业务KPI改善等面向真实场景的评测指标
▪ Agent质量保障工程：CI/CD中的Agent测试、回归检测、性能基准、A/B测试框架
▪ 评测基础设施：标准化评测协议、可复现评测环境、社区共建评测数据集
许欣雅
从AI生码到可信交付：芝麻信用ACS研发质量实践
蚂蚁集团 测试开发专家
蚂蚁集团芝麻信用技术部测试开发专家，长期从事复杂业务场景下的软件质量保障与工程实践。她先后深耕支付宝营销平台与芝麻回收业务，面对业务链路复杂、质量要求高的研发场景，持续探索更加系统、高效的质量保障方式。当前，她专注于 AI Coding 背景下的质量体系建设，关注智能体参与软件研发后，需求、设计、编码、测试与交付各阶段的质量风险与治理机制。她曾多次获得蚂蚁集团、支付宝及芝麻信用技术奖项，并在蚂蚁技术大学主讲《芝麻AI研发最佳实践&范式升级》课程，分享芝麻在AI研发实践与质量范式演进方面的探索。
议题背景：
AI 编码 Agent 正从代码补全工具走向能够自主完成需求分析、系统设计、代码实现和测试验证的研发参与者，人的角色也从 human-in-loop 逐渐转向 human-on-loop。研发效率提升后，质量问题同样可能被快速放大：需求阶段遗漏的业务决策，可能继续影响系统设计、代码和测试，直到交付末端才被发现。
为此，我们设计并落地了 ACS（Agentic Coding Supervisor）。ACS 依托蚂蚁集团成熟的软件工程规范、技术栈和研发协作体系，在芝麻信用真实业务研发链路中实践。芝麻信用业务涉及资金、数据、安全和高可用等多类质量要求，为验证编码 Agent 的可信交付能力提供了复杂而真实的工程环境。
ACS 将质量能力嵌入 AI 研发全过程：把需求、设计、编码、测试和发布建模为阶段化 Workflow Gate，通过 Hook 在 Agent 推进流程前自动检查制品；通过静态规则与 LLM 语义规则识别技术缺陷、业务风险和跨阶段偏移；发现问题后，将 finding 和修改建议返回给 Agent，形成自动修复与重新验证闭环。本次分享将结合真实案例，介绍质量活动如何从人工评审和末端测试，转化为可自动执行、可阻断、可追溯和可持续进化的软件研发基础设施。
内容大纲：
1. 编码 Agent 如何改变软件研发
AI 编码 Agent 正从代码补全工具走向能够自主完成需求分析、系统设计、代码实现和测试验证的研发参与者，人的角色也从 human-in-loop 逐渐转向 human-on-loop。研发效率提升后，质量问题同样可能被快速放大：需求阶段遗漏的业务决策，可能继续影响系统设计、代码和测试，直到交付末端才被发现。
为此，我们设计并落地了 ACS（Agentic Coding Supervisor）。ACS 依托蚂蚁集团成熟的软件工程规范、技术栈和研发协作体系，在芝麻信用真实业务研发链路中实践。芝麻信用业务涉及资金、数据、安全和高可用等多类质量要求，为验证编码 Agent 的可信交付能力提供了复杂而真实的工程环境。
ACS 将质量能力嵌入 AI 研发全过程：把需求、设计、编码、测试和发布建模为阶段化 Workflow Gate，通过 Hook 在 Agent 推进流程前自动检查制品；通过静态规则与 LLM 语义规则识别技术缺陷、业务风险和跨阶段偏移；发现问题后，将 finding 和修改建议返回给 Agent，形成自动修复与重新验证闭环。本次分享将结合真实案例，介绍质量活动如何从人工评审和末端测试，转化为可自动执行、可阻断、可追溯和可持续进化的软件研发基础设施。
内容大纲：
1. 编码 Agent 如何改变软件研发
1.1 从人主导开发转向 Agent 执行、人负责监督。
1.2 生码提速后，质量风险在研发链路中的传播与放大。
1.3 为什么传统 CI/CD 和末端测试不足以保障 Agent 交付。
1.2 生码提速后，质量风险在研发链路中的传播与放大。
1.3 为什么传统 CI/CD 和末端测试不足以保障 Agent 交付。
2. ACS 的全流程质量架构
2.1 将需求、设计、代码、测试和发布建模为阶段化门禁。
2.2 通过 Workflow Hook 自动触发检查、阻断、修复和重新验证。
2.3 使用 Passport 和审计记录管理阶段放行状态。
2.2 通过 Workflow Hook 自动触发检查、阻断、修复和重新验证。
2.3 使用 Passport 和审计记录管理阶段放行状态。
3. 面向软件研发的质量能力设计
3.1 静态规则守住代码、配置和技术规范等确定性边界。
3.2 LLM 规则识别业务闭环、设计一致性和上下文问题。
3.3 组合企业标准、专家经验、历史故障、业务规则和单次需求 Spec。
3.2 LLM 规则识别业务闭环、设计一致性和上下文问题。
3.3 组合企业标准、专家经验、历史故障、业务规则和单次需求 Spec。
4. 从芝麻信用真实案例看质量左移
4.1 需求阶段的数据合规风险：一份 PRD 同时暴露数据共享授权、接口准入和异常边界缺失，体现 LLM 语义审查对业务决策问题的识别能力。
4.2 跨阶段的幂等缺失：同一问题在需求、系统设计和代码阶段被连续发现，说明分阶段门禁关注的是不同层次的质量问题，而非重复检查；相关规则同时来自专家经验与历史修复记录的聚合。
4.3 策略与实现偏移：文档声明“按业务类目灰度”，实际设计却只有全局开关，ACS 识别出策略声明与控制模型无法相互承接。
4.4 接口双重高风险：同一接口同时出现访问控制缺失和数据库路由错误，展示安全与高可用规则协同审查的价值。
4.2 跨阶段的幂等缺失：同一问题在需求、系统设计和代码阶段被连续发现，说明分阶段门禁关注的是不同层次的质量问题，而非重复检查；相关规则同时来自专家经验与历史修复记录的聚合。
4.3 策略与实现偏移：文档声明“按业务类目灰度”，实际设计却只有全局开关，ACS 识别出策略声明与控制模型无法相互承接。
4.4 接口双重高风险：同一接口同时出现访问控制缺失和数据库路由错误，展示安全与高可用规则协同审查的价值。
5. 从质量工具到 AI 研发基础设施
5.1 将企业规范、专家经验、历史故障和代码修复沉淀为规则资产。
5.2 通过 Agent 修复、人工反馈和规则评测形成质量闭环。
5.3 推动质量能力从单点检查走向可观测、可治理和可进化。
5.2 通过 Agent 修复、人工反馈和规则评测形成质量闭环。
5.3 推动质量能力从单点检查走向可观测、可治理和可进化。
听众收益：
1. 理解 AI 编码 Agent 对软件研发流程、质量角色和交付方式带来的变化。
2. 获得一套将质量能力嵌入 Agent 研发全过程的 Workflow Gate 与 Hook 架构。
3. 通过蚂蚁集团工程体系和芝麻信用真实业务案例，了解如何把企业经验转化为 Agent 可执行的质量约束。
1. 理解 AI 编码 Agent 对软件研发流程、质量角色和交付方式带来的变化。
2. 获得一套将质量能力嵌入 Agent 研发全过程的 Workflow Gate 与 Hook 架构。
3. 通过蚂蚁集团工程体系和芝麻信用真实业务案例，了解如何把企业经验转化为 Agent 可执行的质量约束。
敬请期待
敬请期待
......
......
......
SECon组委会是由业界多位资深技术专家发起，负责组织技术指导委员会，并和委员会的专家一起挖掘全球软件工程领域的创新技术，同时依托智盟创课国内领先的人才能力提升服务供应商，组织专业的会务服务团队，全面推进会议的顺利落地，保证参会者体验。
服务总线：400-183-9980
商务合作：151-2264-3988 木子
票务联系：185-1306-7287 静秋老师
E-mail：speaker@qecon.com.cn
关注SECon公众号
添加SECon小助手，获取
会议最新资讯
