霉霉说中文视频火背后AI工具强大

2023-11-16 | 来源: 爱范儿 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

作为国际巨星，“霉霉”在中国有不少粉丝，粉丝都知道“霉霉”不会讲篇幅很长的中文，想听她说中文那像盼过年似的。

让“霉霉”随时讲中文？AI帮“霉粉”们实现了。

下面这个视频里的“霉霉”用自己的音色和语气，自然流畅地用中文接受采访，就连口型都是中文口型。

有“霉粉”表示看完这个视频一时分不清真假。

翻译和配音演员要失业了实际上，这段视频原本是“霉霉”全程使用英文参与一个访谈节目。她之所以可以讲出自然流畅的中文，是因为一款名为 HeyGen 的一键翻译视频 AI。

这个功能可以一键把视频的语音内容翻译为其它语言，同时保持口型完美符合相应语言的发音。

目前，HeyGen 网站允许用户上传不超过 5 分钟、大小不超过 500MB 的视频文件生成翻译视频，支持 mp4、quicktime 和 webm 格式。

AI 先获取了“霉霉”说的英文内容翻译成中文，再模拟“霉霉”的音色，接着替换掉“霉霉”的口型，最后合成一个以假乱真的视频，实现了让“霉霉”说中文的效果。

AI 霉霉的视频创作者是 Gorden Sun，据他说，生成 AI 霉霉的视频仅用了 40 秒。

哈里斯发布8秒TikTok首秀视频,粉丝数已破百万

华为再招天才少年背后:有人成为骨干有人离职...

行刺川普枪手死状曝!视频外流证实特勤早知他出没

以前，我们想听一个外国人说中文，需要内容校对，专人翻译和选人配音三个步骤，最后得到的是有点儿违和的翻译腔语音，体验并不好。

那么不同母语的人说任意其它语言，可以吗？

当然可以。

只要你想，你可以用 HeyGen 的一键翻译视频功能让苹果 CEO 库克讲印地语，音色、口型和抑扬顿挫难辨真假，几乎让人觉得库克本人就会讲印地语。

真是 AI 一出马，苹果公司的印度身份藏不住了。

这项技术的商业前景想像力充足，可用于译制国外大片和影音资料、转播新闻、直播发布会和直播带货等等。

AI 语音大爆发今年 1 月份，微软发布了一款人工智能工具 VALL-E，具有上下文学习的能力，只需一个人 3 秒的特定音频作基础，即可模仿这个人的声音开始长篇大论，复制出这个人的音色、环境混响、情绪和语气。

到了今年秋天，AI 语音更进一步，iPhone上的“个人声音”功能支持用户把 iPhone 放在约 1.5 米远的地方录制约一个小时的音频，接下来用户就可以使用“另一个自己的声音”和他人交流。

可以预见，未来苹果生态中许多功能会和“个人声音”功能产生联动，例如 Vision Pro 的虚拟形象等。