专场出品人：周东祥
腾讯IEGG海外数据平台负责人
10多年在腾讯游戏大数据架构和应用相关的经验，搭建腾讯游戏国内大数据平台，OLAP多维分析，实时计算及规则推荐系统。最近3年聚焦构建全球的腾讯游戏多云的数据中心，数据平台和AI和LLM大模型算力架构。同时，负责游戏海外数据洞察产品DataBrain。
专场：主流大数据框架创新与实践
专场意在通过深入讨论和观点交流，剖析并预见当前大数据领域最先进的技术框架。专场聚焦全球的大数据技术趋势，如大模型工程的设计，向量计算，以及实时数据仓库等，并将深度研究云原生，数据隐私安全，与开源技术的最新动态和应用等课题。我们希望通过此次专场的讨论与探究，分享最佳实践，促成大数据领域的知识共享与技术创新。
于喜千
阿里云 Flink SQL 团队研发工程师
阿里云 Flink SQL 团队 研发工程师，本硕均毕业于上海交通大学，Apache Flink Contributor, 活跃在 Flink CDC 项目，Flink CDC 项目的核心贡献者之一。
Flink CDC 是阿里云 Flink 团队孵化的开源项目，在2024年初正式捐赠给 Apache 软件基金会作为 Apache Flink的官方子项目，Flink 社区在过去的5月发布了捐赠后之后首次大版本3.1.0发布。Flink CDC 最初的仅仅是一组用于 Flink DataStream API 和 Table API 的连接器，随着更多数据库的支持和框架层抽象的丰富，如今的 Flink CDC 已经成为一个基于 Flink 生态、能够独立完成端到端的流式数据集成框架，提供了易用而强大的 YAML API, 支持数据加工、整库同步、表结构变更自动同步等核心功能，广受社区开发者和用户的喜爱。从Flink CDC 1.0 到 3.0，Flink CDC 演进路径和规划是怎样的？接下来向您介绍 Flink CDC 数据集成框架的演进历史，分析其适用场景和最佳实践，并一起探讨社区最新的规划。
内容大纲
1. Flink CDC 的演进历史
1.1 基于 SourceFunction 的早期阶段
1.2 基于增量快照框架的流批一体阶段
1.3 基于 Pipeline 架构的端到端数据集成阶段
2. Flink CDC 的核心功能
2.1 整库整表同步
2.2 表结构变更演化
2.3 数据路由
2.4 数据变换
3. Flink CDC 的最佳实践
3.1 使用 Kafka Pipeline Sink 高效写入 Canal/Debezium 格式数据
3.2 MySQL 向 Apache Paimon 的高效实时入湖
1. Flink CDC 的演进历史
1.1 基于 SourceFunction 的早期阶段
1.2 基于增量快照框架的流批一体阶段
1.3 基于 Pipeline 架构的端到端数据集成阶段
2. Flink CDC 的核心功能
2.1 整库整表同步
2.2 表结构变更演化
2.3 数据路由
2.4 数据变换
3. Flink CDC 的最佳实践
3.1 使用 Kafka Pipeline Sink 高效写入 Canal/Debezium 格式数据
3.2 MySQL 向 Apache Paimon 的高效实时入湖
4. Flink CDC 社区的未来
4.1 向 ASF 项目的转变
4.2 新功能与稳定性
4.3 机遇与挑战
4.1 向 ASF 项目的转变
4.2 新功能与稳定性
4.3 机遇与挑战
Flink CDC ：基于 Apache Flink 的流式数据集成框架
周磊
极越汽车 数据部门实时计算团队负责人
本硕均毕业于北京交通大学; 在大数据领域具有十年实践经验，曾就职于摩拜单车，美团等互联网公司。
在大数据领域，如数据计算、消息队列、数据存储、数据应用、数据平台产品等多个方向有丰富的落地和优化经验。
在大数据领域，如数据计算、消息队列、数据存储、数据应用、数据平台产品等多个方向有丰富的落地和优化经验。
Apache Flink Contributor/alibaba ilogtail Contributor。
演讲经历：flink forward asia 2022 演讲topic《集度汽车 Flink on native k8s 的应用与实践》
本次演讲主要分享极越汽车流计算的发展，当前的流计算架构与未来的演进方向。讲解如何结合数据湖paimon以及Flink搭建流式湖仓平台，以降低用户开发难度，提升开发效率。最后，会结合实际的场景来介绍流计算团队如何支撑公司相应的业务需求。
内容大纲
1. 极越汽车流计算整体架构
1.1 极越汽车流计算发展历程
1.2 极越汽车流计算架构
1.3 极越汽车流计算数据流
2. Flink云原生以及实时计算平台建设
2.1 为什么选择K8s?
2.2 webUI访问
2.3 任务提交
2.4 任务状态机
2.5 资源隔离
3. iLogtail云原生收集以及可观测收集平台建设
3.1 背景
3.2 iLogtail介绍
3.3 收集方案
3.4 可观测收集平台架构
3.5 可观测收集平台工作原理
3.6 iLogtail可靠性保障
4. 流式湖仓建设
4.1 流式湖仓目标
4.2 为什么选择 Flink + Paimon
4.3 Paimon能力介绍
4.4 ETL改造（对ods层与dwd层改造）
4.5 流式湖仓平台架构与功能介绍
5. 流式湖仓应用
5.1 CDP实时标签自闭环场景
5.2 产线造车实时数据分析监控场景
6. 未来展望
6.1 流式湖仓血缘建设
6.2 流批一体落地
6.3 深度融合AI
内容大纲
1. 极越汽车流计算整体架构
1.1 极越汽车流计算发展历程
1.2 极越汽车流计算架构
1.3 极越汽车流计算数据流
2. Flink云原生以及实时计算平台建设
2.1 为什么选择K8s?
2.2 webUI访问
2.3 任务提交
2.4 任务状态机
2.5 资源隔离
3. iLogtail云原生收集以及可观测收集平台建设
3.1 背景
3.2 iLogtail介绍
3.3 收集方案
3.4 可观测收集平台架构
3.5 可观测收集平台工作原理
3.6 iLogtail可靠性保障
4. 流式湖仓建设
4.1 流式湖仓目标
4.2 为什么选择 Flink + Paimon
4.3 Paimon能力介绍
4.4 ETL改造（对ods层与dwd层改造）
4.5 流式湖仓平台架构与功能介绍
5. 流式湖仓应用
5.1 CDP实时标签自闭环场景
5.2 产线造车实时数据分析监控场景
6. 未来展望
6.1 流式湖仓血缘建设
6.2 流批一体落地
6.3 深度融合AI
极越汽车流计算云原生及流式湖仓应用实践
关文蕾
传音移动互联大数据开发工程师
2021年年底加入传音移动互联，负责数据治理相关工作，精于云成本治理。见证了移动互联对数据资源成本意识的形成以及体系的建设，结合Finops理念从0-1构建移动互联大数据成本治理模型，推动大数据成本治理体系实现从“走”到“跑”的历程，实现大数据成本治理平台的设计与落地；并在传音混合云架构体系下完成各业务线的推广与应用及后期持续化运营。通过帮助工程、财务、技术和业务团队在数据驱动的支出决策上进行协作，赋能业务线发展及创新，使组织能够获得最大的业务价值。
近年来传音在非洲、东南亚等新兴市场的业务不断拓展、全球化战略的持续发展，业务增长伴随着数据规模的增长，多云大数据架构的搭建，多场景大数据采集、计算、存储、应用产生的大数据资源成本也快速增长、多云多资源复杂性增加、业务场景的多样性增加，使得资源使用的合理性、评估的有效性，以及业务决策的准确性也存在较大的挑战。
本次分享将深入探讨传音移动互联搭载Finops体系方法论结合实际业务现实情况，如何通过不断摸索从0-1建设并落地多云环境下大数据成本管理治理体系，减少云资源的无效浪费，实现合理化的大数据场景下对多云资源成本合理的把控，实现便捷化、体系化的快速优化治理结构，并助力企业降本增效获得不错的收益。
内容大纲
1. Finops体系及对组织的贡献和价值
2. 传音移动互联实践Finops体系背景和挑战
3. 大数据成本治理体系的演进历程及实施路径
4. 大数据成本治理实践的三大阶段
5. 未来展望
听众收益
1. Finops框架体系及对组织的价值和意义
2. 全球化多云场景下从 0 到 1 建设、实现成本治理的思路和经验
3. 大数据成本治理的FinOps实践洞察、思考和总结
4. 复杂场景下如何推动多团队组织共同助力Finops组织落地并持续运营
Finops体系实践：大数据多云成本治理体系助力企业降本增效
SECon组委会是由业界多位资深技术专家发起，负责组织技术指导委员会，并和委员会的专家一起挖掘全球软件工程领域的创新技术，同时依托智盟创课国内领先的人才能力提升服务供应商，组织专业的会务服务团队，全面推进会议的顺利落地，保证参会者体验。
商务合作：木子 15122643988
票务联系：丽媛 18600050529
E-mail：speaker@secon.com.cn
关注SECon公众号
添加SECon小助手，获取
会议最新资讯
