首个“冬奥AI手语主播”来了 用技术跨越声音的障碍

“从北京冬奥会开始,我将全年无休用AI智慧为听障用户提供手语服务,让他们快捷的获取比赛资讯!” 11月24日,央视新闻联合百度智能云倾心打造的总台首个AI手语主播正式亮相。

她有着“真人般”的皮肤、头发、眼睛,形象亲切自然,气质优雅独特。

万众期盼的2022年北京冬奥会将在2月4日举行,历时16天。这是中国历史上第一次举办冬季奥运会。

在关注冬奥会的观众中,有一个特殊的群体,他们听不到赛场的声音。但他们关注着冬奥赛事,希望了解比赛动态,渴望感受比赛的激情。全球约4.3亿人有中度及以上程度的听力障碍。根据全国第二次残疾人抽样调查数据,中国有听障人士2780万。

“我们用技术跨越声音的障碍”,这是央视新闻联合百度智能云推出AI手语主播的初心。

用AI聆听冬奥新闻的背后

百度智能云采⽤语⾳识别、⾃然语⾔处理等⼈⼯智能技术,构建出⼀套复杂⽽精确的⼿语翻译引擎,实现了⽂字及⾳视频内容到⼿语的翻译;再通过专为⼿语优化的⾃然动作引擎,进⾏虚拟形象的驱动,将⼿语实时演绎为数字⼈的表情动作。这使得央视新闻AI手语主播具备高可懂度的手语表达能力和精准连贯的手语呈现效果。

央视新闻AI手语主播掌握的手语词汇规范都来自《国家通用手语词典》标准,经过长时间的智能学习,能够为观众朋友提供专业、准确的手语解说。

数字人的开发变得简单、快捷、高效

央视新闻AI手语主播由百度智能云的“数字明星运营平台”提供技术支持和服务。“数字明星运营平台”集数字人生成、内容生产为一体的平台级产品,为广电、互娱、品牌等客户提供一站式的虚拟主持人、虚拟偶像、品牌代言人的创建与运营服务,可以降低数字虚拟人的应用门槛。

目前,“数字明星运营平台”在生成维度支持二次元、2D、3D高精多种数字人风格,不仅通过全栈的AI能力实现了二次元数字人的“一句话生成”,还通过基于任意单个2D人脸重建高精度3D人脸技术,对虚拟人人脸3D模型进行编辑,实现将任意2D人脸低成本替换到3D虚拟人上,解决了2D数字人风格丰富性差的痛点难点,更将可被AI驱动的高精3D数字人生成成本由3个月降低到一星期。

在内容生产维度,支持真人驱动、AI驱动、融合驱动等多种直播方式;支持真人场景下多样化内容的视频快速生成。基于面部4D数据(3D+时序)的高精数字人“文字到形状的跨模态面部表情生成技术”,使得口型合成准确性达98.5%。

“数字明星运营平台”让数字虚拟人的开发和运营变得简单、快捷、高效。这也就意味着,现有众多高创作力、低技术能力的IP开发方,直接具备转化自己的IP为虚拟人的能力,可以无需建模、快速做出自己的数字虚拟人,甚至是虚拟偶像。

上游新闻记者 杨野

相关文章