在2023年中国移动全球合作伙伴大会的舞台上,一场前所未有的互动吸引了全场的目光。杨杰董事长与其“数智人”的同台亮相,标志着数实融合新纪元的开启。这场技术革新的背后,是中国移动在声音复刻、变声技术、语音合成、实时3D语音驱动等领域的深耕。
此次亮相中,杨杰的“数智人”通过粤语与现场观众问好互动,这一突破性的技术背后是中国移动自研的声音复刻和变声技术。它不仅能够高度还原董事长本人的音色和讲话韵律,还能在普通话的基础上,实现多种和外语的实时转换。这一技术的应用,无疑为数智人的交互体验带来了质的飞跃。
大会期间,由咪咕公司提供全程技术支持的中国移动数智人家族也首次亮相。包括中国移动5G之队成员张雨霏、刘洋,中国移动动感星推官周同学、动感地带数智代言人橙络络等,他们将为广大参会嘉宾带来真人及数智人同框、数智人裸眼3D、AI交互智问智答、数智人穿越元宇宙鼓浪屿等多种高科技互动。这一系列的互动体验,无疑为参会嘉宾带来了前所未有的沉浸式视觉新体验。
在数智人的制作过程中,中国移动利用了自研的亚毫米级超写实人脸重建、人脸拟合等技术,实现了“数智人”的高逼真、高还原的三维重建和智能制作。据悉,杨杰的“数智人”达到了L5超写实级别,全身面片数达到5千万,保证了3D模型的超高精度;有20万根发丝,实现逼真的头发细节;全身679根骨骼,实现流畅自然的肢体动作;通过面部767个表情,实现细腻、自然和丰富的表情效果;基于超高精度的3D模型,实现超写实的皮肤质感;效果达到业界领先水平。
借助中国移动的强大算力和九天大模型提供的智慧大脑,杨杰的“数智人”在大会中实现了实时对话。通过自研的语音合成技术和实时3D语音驱动技术,数智人可将文本合成为音频并实时驱动3D数智人做出相应的表情和肢体动作,结合超写实数智人智能绑定和布料物理仿真等多项技术,创新实现基于超写实数智人和九天大模型的多模态实时交互。