专场出品人：乔红麟 (洪林)
阿里云 资深技术专家
目前担任阿里云智能客服平台技术负责人，专注于云计算服务领域大模型落地相关技术，如服务领域大模型训练及优化、搜索增强RAG、LLM Agents及LLMOps等技术方向。2015年加入阿里巴巴集团，曾担任过阿里云数据库自治服务CloudDBA/DAS、阿里云智能技术服务体系技术负责人。
专场：AIGC时代的基础设施
分论坛聚焦AIGC时代大模型落地全周期需要的基础设施相关技术挑战与最佳实践，重点围绕大模型训练和推理优化(LLM Training/Inference Optimization)、领域大模型调优和构建(Domain LLM FT/CT)、大模型开发工具框架(LLMOps)和大模型安全等AIGC实际场景落地的关键技术，邀请业界专家进行前沿技术分享。
参会者将通过这个专场更好理解和应对AIGC时代基础设施的挑战与机遇，为参会者实际业务场景大模型落地提供宝贵的经验输入，期待与全球的开发者和使用者共同探讨如何推动这一领域的创新和发展。
参会者将通过这个专场更好理解和应对AIGC时代基础设施的挑战与机遇，为参会者实际业务场景大模型落地提供宝贵的经验输入，期待与全球的开发者和使用者共同探讨如何推动这一领域的创新和发展。
陆天明
构建企业级高性能模型推理平台
eBay 研发工程师
毕业于南京大学，多年大数据、AI相关研发经验。现任职于eBay AI平台部，先后参与了统一特征服务、模型编排优化、模型部署流程优化、模型服务性能优化等相关研发工作。目前主要负责提升模型服务计算资源使用率方面的相关工作。致力于提升AI模型服务的效率和性能，提供企业级的高性能模型推理平台。
随着人工智能技术的飞速发展，企业对于机器学习模型的依赖日益增加。然而，将这些模型有效地应用于实际业务场景，需要一个强大的推理平台作为支撑。作为eBay机器学习平台部门，我们需要实现模型的高效管理和快速上线迭代，同时不断提升线上推理服务性能以满足业务场景需求。本次演讲主要侧重eBay在模型推理服务优化上的一些工程实践，介绍我们在模型服务路由，推理性能优化以及计算资源优化等方面的工作。
内容大纲
1. 推理平台的挑战
2. 模型上线流程标准化
3. 模型服务整体架构
4. 模型服务优化
5. 资源优化
姜剑(飞樰)
阿里云服务领域AIGC基础设施的创新与实践
阿里云 算法专家
负责阿里云服务领域大模型的训练和调优、对话机器人链路体系的构建、Agent智能体在服务领域的探索等。在阿里云服务领域深耕多年，逐步建设起了阿里云服务领域的算法技术体系和各类基础设施，主导构建了阿里云服务领域大模型、Agent、知识库问答、知识图谱、推荐等。
随着大模型的快速发展和演进，掀起了一股AIGC时代的创新热潮。阿里云智能技术服务团队紧跟大模型前沿技术，在2023年迅速基于“通义千问”构建了适用于阿里云服务领域的大模型，升级了阿里云售后服务对话机器人的技术体系，并持续对RAG、Agent和领域大模型等关键领域进行深入研究探索，全力以赴支撑业务。本演讲总结了在服务领域大模型技术架构下，团队是如何建立AI大模型时代的新型基础设施，来支持阿里云智能服务业务，会介绍阿里云服务领域AIGC基础设施、LLMOps平台、链路技术架构与应用实践、SEval评估体系。
内容大纲
1. 阿里云服务领域AIGC基础设施概述
1.1 阿里云服务领域业务背景
1.2 阿里云服务领域AIGC场景
1.3 阿里云服务领域AIGC基础设施介绍
2. 阿里云服务领域LLMOps平台
2.1 阿里云服务领域LLMOps平台介绍
2.2 阿里云服务领域LLMOps支撑的场景
3. 阿里云服务领域链路应用实践
3.1 阿里云服务领域LLM链路技术架构
3.2 阿里云服务领域LLM RAG技术实践
3.3 阿里云服务领域LLM Agent技术实践
4. 阿里云服务领域SEval评估体系
4.1 阿里云服务领域SEval评估体系介绍
4.2 阿里云服务领域SEval反馈优化LLM
内容大纲
1. 阿里云服务领域AIGC基础设施概述
1.1 阿里云服务领域业务背景
1.2 阿里云服务领域AIGC场景
1.3 阿里云服务领域AIGC基础设施介绍
2. 阿里云服务领域LLMOps平台
2.1 阿里云服务领域LLMOps平台介绍
2.2 阿里云服务领域LLMOps支撑的场景
3. 阿里云服务领域链路应用实践
3.1 阿里云服务领域LLM链路技术架构
3.2 阿里云服务领域LLM RAG技术实践
3.3 阿里云服务领域LLM Agent技术实践
4. 阿里云服务领域SEval评估体系
4.1 阿里云服务领域SEval评估体系介绍
4.2 阿里云服务领域SEval反馈优化LLM
陆汉城
哔哩哔哩AI基础设施建设实践
bilibili 系统部技术专家
哔哩哔哩系统部技术专家，服务器硬件与系统运维方向负责人。持续跟踪服务器硬件与系统相关领域的技术发展趋势，结合业务场景规划和推动相关新硬件、新技术落地。目前负责哔哩哔哩服务器选型与引入、服务器资源交付、硬件与系统运维以及相关基础设施平台建设。曾就职于百度运维部，负责大规模在离线混部BVC平台、GPU算力平台的建设与演进。
随着以ChatGPT为代表的大语言模型出现，大模型训练在软硬件基础设施、算法及数据等方面的挑战也逐步凸显。 本次演讲将从AI Infra角度出发带大家了解目前大模型对AI基础设施在算力、网络、可用性等诸多方面的挑战，介绍哔哩哔哩在自身业务背景下AI基础设施建设思路与实践，包括集群资源量化评估、集群网络组网方案、集群可用性保障以及国产算力集群建设探索。
内容大纲
1. 背景与需求
1.1 大模型发展趋势以及业务背景
1.2 AI基础设施对大模型的重要性
2. AI基础设施建设的主要挑战
2.1 算力资源需求规模
2.2 集群组网和通信效率
2.3 集群故障与可用性
3. AI基础设施建设思路与实践
3.1 资源需求量化评估
3.2 网络组网架构与方案
3.3 集群运维体系建设
4. 总结与展望
4.1 集群建设实践成果
4.2 国产算力集群建设探索
听众收益
1. 大模型训练的特征以及对基础设施的挑战
2. 大模型训练算力、网络等资源需求量化评估和选型思路
3. 国产算力集群建设探索经验
丁瑞雪
通义RAG技术架构与实践中的挑战
阿里巴巴 算法专家
通义实验室-机器智能技术-自然语言处理-算法专家 负责通义实验室主要产品RAG部分的评估与离线架构。曾在ACL、EMNLP、NAACL、SIGIR等顶级会议上发表多篇论文，是业界第一个地理多模态预训练模型MGeo的提出者。
随着大模型应用的迅猛发展，RAG作为外挂大脑对大模型能力起到重要的补充作用。本次演讲总结了最近一年RAG技术架构从简单的向量引擎到模块化RAG的发展，并介绍了在通义千问、通义百炼的RAG实践中遇到的问题以及解决方案。
内容大纲
1. RAG技术概览
1.1 需求与背景
1.2 朴素RAG
1.3 模块化RAG
2. RAG系统评估挑战
2.1 评估对象
2.2 人工评估实践
2.3 自动评估实践
3. 长文本时代挑战
3.1 长文本LLM vs RAG
3.2 层次化索引实践
4. 用户定制化需求挑战
4.1 开箱即用 vs 深度定制
4.2 通义百炼深度定制解决方案
内容大纲
1. RAG技术概览
1.1 需求与背景
1.2 朴素RAG
1.3 模块化RAG
2. RAG系统评估挑战
2.1 评估对象
2.2 人工评估实践
2.3 自动评估实践
3. 长文本时代挑战
3.1 长文本LLM vs RAG
3.2 层次化索引实践
4. 用户定制化需求挑战
4.1 开箱即用 vs 深度定制
4.2 通义百炼深度定制解决方案
SECon组委会是由业界多位资深技术专家发起，负责组织技术指导委员会，并和委员会的专家一起挖掘全球软件工程领域的创新技术，同时依托智盟创课国内领先的人才能力提升服务供应商，组织专业的会务服务团队，全面推进会议的顺利落地，保证参会者体验。
商务合作：木子 15122643988
票务联系：丽媛 18600050529
E-mail：speaker@secon.com.cn
关注SECon公众号
添加SECon小助手，获取
会议最新资讯
