议题介绍
目前AIGC大模型和多模态引领的AI浪潮空前浩大,除了AIGC本身的发展,将AI的成果快速工程化并高效应用到产品中也是非常关键的,算力和资源的管理也很重要。如何设计稳定、高效、高可用的AI工程化架构,以及更合理、更高效地管理好算力和资源将是本次的主题。
内容大纲
1. 工程化基础架构
1.1 基础架构和框架概述
1.2 详解统一调度和回调平台设计
1.3 队列和预估时间的实现
1.4 任务及资源的监控保障
2. 算力和资源管理
2.1 算力的动态分配和伸缩
2.2 模型的动态加载和切换
2.3 AI相关资源在GPU上的同步
3. 未来展望
3.1 更高效的算力资源利用
3.2 更灵活的任务调度
3.3 更精确的时间预估