2023年9月4日

当春晚遇到元宇宙:穿越时空感受三星堆文化

作者 admin
在去年的春晚舞台上,刘德华就在远程利用XR技术和两位演员同台,在江苏卫视的跨年晚会上,周深也借助了XR技术和邓丽君进行了跨越时空的合唱。
除了XR之外,《金面》还首次采用了AI多模态动捕系统,使数字模型与演员能同步、高效、精准地完成动作表演,打造虚实交互的舞台神奇视觉效果。
在早期,深度学习算法大多使用单模态数据源来进行模型的训练,如声音和视觉等,而现在流行的多模态交互则是通过声音、文字、图片、音频、视频、姿态等多个通道的信息与计算机进行交流。多模态人工智能是计算机视觉和交互式人工智能模型的最终融合,能够为计算机提供更接近于人类感知的场景。
首先,利用红外主动照明的智能相机构成的采集矩阵,高速抓拍采集舞蹈演员主要关节点运动信息,再通过AI算法实时计算骨骼的运动参数信息,将其动作迁移给模型。同时,AI多模态动捕系统通过AI算法对演员的运动轨迹和形体进行采集和计算分析,然后采用网络实时广播分发模式将舞蹈演员动作迁移给数字模型,就可以让数字模型能够配合演员精准地同步完成动作表演,实现无缝互动。