被真实问题逼出来的 Agent 架构
——企业内过万用户 Vibe Coding 平台的工程实战
Muse 妙思(Vibe Coding 平台)技术负责人。带领团队从 0 到 1 构建面向企业内部的 AI Coding 平台,21 个工作日完成上线,半年内 MAU 突破万级,月均 token 消耗超 1000 亿。在 Vibe Coding 场景的 Agent 架构设计上有深度实践:从编排式 Workflow 到自主决策的单体智能体、从全量上下文到动态 Memory 管理、从单场景 Agent 到通用型架构统一——每一个架构决策都来自企业内过万用户的真实生产问题。曾在 SEEConf、D2 技术大会、QCon 全球软件开发大会等外部技术会议分享 Vibe Coding 落地经验。
议题背景:
蚂蚁 Muse 是面向蚂蚁集团内部员工的 Vibe Coding 平台,月均消耗超 1000 亿 tokens,过万用户中近半数非技术背景。上线即暴露传统 Agent 架构无法承受的生产级问题:Token 成本失控、长轮次 Agent 失忆、巨型工程改不准、非技术用户"说"不清需求、多场景系统碎片化。本议题不谈理念,只讲战场——每个架构决策都是被问题逼出来的:全量输出→Search/Replace+Cache 治理、全量上下文→持久化索引+精准召回的 Memory 管理、盲目生成→Spec 驱动、独立 Agent→统一中枢调度多专家协作。给出数据、方案和踩过的坑。
内容大纲:
1. 我们做了一个什么样的 Vibe Coding 平台(~5min)
1.1 产品定位与核心能力:自然语言对话生成前后端一体网站,四种能力层级(静态页面→自有接口→前后端一体→AI 应用)
1.2 生产数据:企业内过万 MAU、月均超 1000 亿 tokens、生成成功率 99%+、近一半用户非技术背景
以下五个挑战,对应平台演进的五个关键阶段:跑不起 → 记不住 → 改不对 → 猜不准 → 扩不出
2. 挑战一:Token 成本失控——跑不起(~5min)
2.1 问题:重度用户月消耗 ¥5000;AI Coding 场景输入输出比约 200:1,成本大头在输入端
2.2 解法:精准化 Search/Replace 替代全量输出(Token 消耗降低 80%)+ KV Cache 深度优化(内部模型命中率达 90%,60% 命中率即可节省 54% 成本)
2.3 底层原理解释:AI Coding 场景 Cache 命中率天然高——上下文 18k tokens 中仅 ~200 tokens 在变化,不变部分占比 99%
3. 挑战二:超长轮次 Agent 失忆——记不住(~4min)
3.1 问题:百轮对话后 Agent 健忘与逻辑混乱,通用压缩方案意图保留不稳定
3.2 解法:自研 Memory 系统——意图提取 + 持久化索引(上下文消费后仅保留语义索引,需要时精准召回)+ AI 自主决定记忆的加载与释放
4 挑战三:巨型工程改不准——改不对(~4min)
4.1 问题:数千文件项目 Agent 定位迟缓、修改不准
4.2 解法:File Graph 构建文件依赖图谱 + LLMs.txt 工程索引提供全局导航 + 上下文按需调度而非全量载入
5. 挑战四:非技术用户"说"不清——猜不准(~7min) ⭐ 重点
5.1 问题:非技术用户无法精确描述表结构与业务逻辑,AI 盲目生成准确率有上限
5.2 解法:Spec-Driven Development
用户说"我要做个投票" → AI 先生成结构化 Spec(Requirements + Design + Tasks)→ 基于 Spec 再生成代码
用户零门槛:不需要理解 Spec 的存在,AI 自动完成
对比业界普遍需要多轮迭代修正,Spec 驱动显著提升一次生成准确率
在此之上,意图驱动自动建表 + Schema 快照版本链(V1→V2→V3)成为典型场景
6. 挑战五:多场景系统碎片化——扩不出(~5min) ⭐ 重点
6.1 问题:网页/营销/文档/企业版各自独立 Agent,功能和数据不互通,用户体验割裂
6.2 解法:从独立 Agent 到统一中枢调度
统一 Artifact 产物模型 + 元信息驱动产品形态——同一个 Agent 根据场景类型自适应
需要专业能力时,中枢 Agent 自动调度专家——任务完成后专家释放,回到单 Agent
关键设计原则:专家默认空闲(不主动发起对话)、任务驱动拉取(不推送)、五层防无限循环保护(超时、Token 预算等)
7. 架构演进总结:问题驱动的三条主线(~5min)
7.1 Agent:个体层面从编排式 Workflow 到自主决策+Skills 化,系统层面从独立分化到统一中枢+专家调度
7.2 Memory:从全量塞上下文到持久化索引+精准召回+动态加载/释放
7.3 Context:从单文件编辑到工程级索引(File Graph + LLMs.txt)+ 按需调度
8. 案例:非技术用户成为"超级个体"(~5min)
8.1 PMO 同事:纯自然语言 2000+ 轮对话,Vibe 出生产级战役管理平台
8.2 运营同事:零研发资源,全程 Vibe Coding 完成 C 端营销活动,亿级 DAU 场景 0 故障
8.3 这些案例背后的共性:AI 永远替代不了真正的程序员——AI Coding 时代,高级程序员的价值只会更高
9. AI 时代的基建必须天生 Agent 友好(~7min)
9.1 基础设施的受众正在发生根本性转移:从面向 Developer 转向面向 Agent
9.2 四个维度:Interface(保障 AI 会写)、Docs(保障 AI 会用)、llms.txt(流量入口 Token 化)、CLI(不可被 AI 驱动=淘汰)
9.3 AI 时代的软件设计哲学:一切内容都是文件、一切文件都用 Git 管理、一切会话都在 WorkTree 中发生
10. 收尾:面向变化(~3min)
10.1 五个挑战,三条主线,一个方法论:问题驱动的架构演进
10.2 AI 产品的架构师,第一设计优先级是面向变化——三个月后一切可能不同
听众受益:
1. 了解 Vibe Coding / AI Coding Agent 在企业内过万用户真实业务场景下的生产级问题,而非 Demo 级体验
2. 掌握 Token 成本治理(200:1 输入输出比下的 Cache 策略)、长轮次 Memory 管理、巨型工程上下文优化等可复用的工程方案
3. 获得 Spec-Driven Development 的实践经验——如何将非技术用户意图结构化,显著提升 AI 生成准确率
4. 理解多 Agent 协作架构设计——中枢调度+专家模式、Idle-by-default、Pull model 等模式如何在生产场景落地
5. 理解"问题驱动架构演进"的方法论——不是先设计架构再找场景,而是被生产问题逼着演进