香港中文大学 深圳青年企业家成员、深圳市对外经贸协会成员、麦肯锡xr中国合作伙伴、华为云全球生态合作伙伴、北京大学燕园有约系列 主讲嘉宾、深圳市政协会议科创企业代表等。
作为资深XR与AI行业从业者,连续创业者,曾带领团队开发过多款年收入过千万的相关产品,累计获得数家战投、风投的投资。目前所创办的拂曦科技,目前是XR与AI交叉领域的头部供应商,已服务多家上市公司客户,并积极布局与Meta、Apple的合作推动空间计算行业进一步发展。
随着visionOS和Horizon OS的兴起,以及WWDC大会与Meta Connect大会对于AI与空间计算的结合。如何通过AI来赋能新一代移动计算平台成为发展的焦点。业务团队面对跨行业的复杂的客户需求,进行了大量架构设计优化、工具链建设和技术攻坚。
此外,多模态融合驱动的空间智能革命在各行业也开始崭露头角,尤其是在数实融合融合场景中(如情感陪伴和文旅、商业地产应用),为经济与技术创新提出了新的方向。在此次演讲中,我们将分享实际业务中经过验证的AI与XR结合的大前端解决方案,帮助各位看清在 XR 领域的新的革命浪潮。
1. XR眼镜所带来的AI应用新市场
1.1 为什么眼镜做为新型计算终端,会是非巨头企业构建AI的破局点。
1.1.1 Rabbit R1与Meta Ray Ban的对比分析
1.1.2 眼镜作为新型计算终端的重要性
1.2 Vision Pro对未来AI应用的影响
2. AI驱动的数实融合
2.1 未来Agent在真实世界的呈现形式
以情感陪伴为例,设计基于AI驱动的虚拟助手架构,结合视觉识别、语音交互与情感计算,实现自然、实时的交互体验。
通过Vision Pro等设备,虚拟助手可在现实世界中无缝嵌入,提供不间断的陪伴与辅助。
架构设计重点:多模态交互架构,融合视觉、听觉与自然语言处理,确保交互的流畅性与自然性。
技术基础:(1) 3D计算机视觉;(2)神经辐射场(NeRF)技术;(3)扩散模型在3D生成中的应用;
技术攻坚:(1)整合语言理解和空间感知;(2)结合2D图像和3D数据;(3)融合时间序列数据以理解动态变化;
2.2 空间智能与文旅、商业地产场景的结合
架构设计基于增强现实的物理世界叠加,增加AI对真实物理环境的深度理解,将复杂的3D虚拟内容实时呈现在用户视野中。
通过视觉和空间计算技术,用户可以将当下场景转化为类似“霍格沃茨”的虚拟世界中,未来可赋能文旅和商业地产的体验。
架构设计重点:实时3D渲染架构与动态空间计算,结合视觉SLAM(同时定位与地图构建)和场景重建技术。
技术基础:(1)使用Unity 3D等引擎与跨平台工具进行内容开发;(2)结合AI推理引擎进行场景动态变化的渲染。
技术攻坚:(1)高精度3D渲染与空间计算的同步优化,确保在终端设备上实现复杂场景的稳定渲染。
听众收益
1. 寻找AI应用领域新突破点,基于pc、手机侧的大模型及其应用百花齐放,但在XR眼镜上目前仅有Meta一枝独秀。但该领域的市场潜力极大,推测未来三年将会有爆款基于XR眼镜侧的AI应用出现。
2. 新数据集构建,便于论文发布。基于人体第一视角的行为及对于物理世界的交互,在具身智能、多模态融合等方面可以发paper。
3. 商业化突破,目前这块对于文旅、教育、会展营销、线下娱乐、情感陪伴等传统领域体验提升明显,有较多潜在市场待发掘。
4. 便于一年后找工作,目前国内这块虽然工作岗位比较少,但会的人更少,方便后面市场需求起来之后找工作。