关于我们
投资案例
新闻中心
活动入口
社会责任
联系我们
松禾成长关爱基金会

商汤如影,打造高质量、低门槛的数字人视频生成平台

发表于:2023-05-18 来源:

短视频已成为当今重要的社交载体,但如何高质量、低成本地生产内容正成为行业发展的瓶颈。

对此,商汤科技“日日新SenseNova”大模型体系下的“商汤如影SenseAvatar”AI数字人视频生成平台将发挥特长,突破质量和效率的天花板。

如影平台基于AI数字人视频生成算法、语言大模型、AI文生图、AIGC等多种能力,只需一次真人素材录入,就能生成超写实的数字分身,实现高质量、高效率的数字人视频内容创作,推动视频内容创作的范式革新。




作为全栈式AI数字人视频生成平台,如影旨在帮助企业和个人轻松开展数字人短视频、直播等内容创作,同时也可为教育培训、企业宣传,娱乐文化等领域提供视频解决方案,提高品牌知名度和用户粘性。

大模型+大算力,数字人生成既好又快

“大模型”和“大算力”是实现高质量、高效率数字人生成的核心驱动力。

在商汤“日日新SenseNova”大模型体系和AI大装置SenseCore的支持下,如影平台在生成效率和效果方面双双突破。

凭借大模型强大的数据学习能力,通过对海量真人基础数据有效学习,如影生成的数字人外貌真实、动作表情自然,对输入的素材也更鲁棒。

其中,真人相似度达90%-95%,口型匹配度达95%,大大超过行业平均水平。大模型的强泛化能力,也让如影更好地支持不同类型、不同风格的数字人生成,并覆盖多种语言。

高生成速度则依托于全自动化的处理流程和AI大装置强大的算力支持。

通过打通从上传视频、处理数据、训练模型、转换模型到模型部署的自动化闭环,如影平台可将传统视频制作流程中人工处理时间大幅减少90%,模型训练时间减少60%,只需1天即能完成各类定制数字人训练。平台甚至还支持数字人批量生产,同时满足不同客户的定制化需求。

无论是2D数字人还是3D数字人的视频生成,如影均能为客户提供低门槛的创作工具。

5分钟真人视频打造写实2D数字分身

2D数字人如同用户的数字分身,可代替真人出镜,实现视频创作效率跃迁。

“商汤如影SenseAvatar”平台具备强大AI生成能力和易用的使用体验,仅需一段5分钟手机拍摄的真人视频,就能生成动作、表情、口型都自然逼真、且精通多语种的数字分身。

平台还打通文生文、文生视频的整个流程,通过文字驱动,即可自由开展各类视频制作。




比如,用户进行文案创作,只需输入粗略想法,平台就可自动生成相关视频文案。

换装、换背景,素材选择灵活自由,用户不仅可以使用平台内置的丰富素材或上传自有素材,还可借助平台的AI文生图能力,通过给定相应提示词生成“脑中所想”的素材用于视频创作。




如影还支持涵盖超100个国家和地区的多语言文本生成及多语言语音合成。用户可直接将生成好的视频切换成不同语言版本,发音、口型自动匹配,轻松完成“本土化”。

创建鲜活饱满的3D数字人

3D数字人虚拟主播或“虚拟IP”,有着更灵活广泛的使用场景,但制作成本更高。

和现实世界的交互,不仅需要一颗聪明的大脑来生成可靠的文字,还需要通过灵动自然、语义契合的动作,来增加3D数字人的表现力和感染力。

基于商汤原创OpenXRLab扩展现实平台的领先算法,打造了一套多模态的动作生成解决方案,无需专业设备进行动捕,就能根据文字语义和声音韵律生成风格多样、语义准确、长时间自然连贯的表情和动作。

得益于全栈生成式AI能力,让用户轻松开启直播之旅。基于商汤的语言大模型,针对直播带货场景进行了优化,可以根据产品内容快速生成多风格的带货文本,配合多风格的声音及动作生成,一键拥有百变主播。借助商汤大模型的精细化3D物件生成能力和文生图大模型,数字人的交互能力和直播场景中的内容元素亦可持续拓展。

图片

直播过程中,数字人还可以自主完成带货、粉丝互动、疑难解答等实时交互,以更低的运营成本实现24小时直播运营,全天候触达用户。

推动“可信数字人”发展

除视频、直播场景外,AI数字人也可广泛应用于文旅、展馆、金融、教育、商超等各类线下场景,提供多样化服务。在今年上海车展期间,商汤即展示了在车舱场景中的数字人应用,既能自动提炼邮件关键信息,还会整理会议纪要,是一位智能有温度的行车伴侣。

图片

在推动AI数字人视频生成技术创新应用过程中,商汤致力于打造“可信数字人”,在可信原则指导下推动虚拟人市场健康、可持续、高质量发展。

每个在如影平台创作的数字人,都经过严格的可信认证,确保不被盗用或篡改。

同时,由中国信通院牵头,商汤科技参编的《可信虚拟人生成内容管理系统技术要求》已完成立项,将于年内出台团体标准,推动可信数字人行业标准建立,让数字人生成内容与真人意愿不“脱钩”,数字人产业快速发展不从监管“脱缰”,肖像权、所有权与现实约束不“脱节”。

目前,“商汤如影SenseAvatar”平台已面向多家企业用户开放服务,助力各行业突破原有内容制作模式瓶颈,打破内容创意的天花板。