小鹏汽车AI宣传片揭示科技新纪元,何小鹏英文演讲成焦点

500

 

文| 刘澍

很多科技创始人,可以借助AI升级个人名片,打造更亲切的海外形象,让全球领略到新一代中国企业家的风采。

 

 

使用外语出口成章,AI可以帮你。

 

一周前,小鹏汽车创始人何小鹏在视频号上发布了一支由AI打造的宣传片。视频里,他将全球首款AI汽车“小鹏P7+”开到了火星,呈现了一个未来的科技世界。

 

500

这不仅给自家汽车赚足了噱头,也给AI视频工具打出了广告,让业内外看到了AI创作愈发品质化。

 

不止于此,视频引言段,何小鹏一口流利的英文演讲更是令人赞叹。

 

Many people ask me,Can you describe clearly to us what the future AI car will look like and why do people say that the XPENG P7+ could be the pioneer of future AI cars?

 

宣传片中,何小鹏甫一登场,即用了一个超长的英文复合句子表达了视频的主题——小鹏P7+是未来AI汽车的开启者。

 

500

 

这句话抑扬顿挫、发音标准、节奏清晰,让人怀疑,何小鹏是不是在英美长期生活过。

 

配合着他从容自信的神态和动作,一瞬间,一个优秀的中国企业家精英立身于前。

 

随后,不管是他幽默风趣地介绍产品,还是表达对AI未来的愿景都透着一股令人信服的能量。

 

针对何小鹏这条视频,经纬中国创始管理合伙人张颖发表了评论: 

500

 

而这种流利的英文表达目前类似HeyGen这样的AI视频翻译工具可以做到。

 

500

 

作为在相关领域较为优秀的 AI 工具,在正常的语言翻译之外,HeyGen还可以模拟真人的口型、音色、语气,实现更真实的视频语音转译。

 

此前,“霉霉”泰勒·斯威夫特和川普说普通话、郭德纲飙英文的视频曾经走红网络,这两支视频疑似出自HeyGen之手。 

500

 

除了HeyGen,国内外还有其他的AI工具,正在为大众提供相关服务。

 

比如大家熟悉的剪映,现在也可以让视频中讲中文的人一键说外语: 

能预见的是,随着技术的提升,接下来的转译视频会越来越真。

 

这有利有弊,一方面,可以降低不同地区人群的沟通交流成本;

 

另一方面,需要提防不法之徒侵害社会安全,今年就曾有过社交账号“俄罗斯美女”的诈骗活动,引发了行业与公众对AI数据安全、伦理道德、法律责任的广泛关注。

 

500△ AI生成的“俄罗斯美女”

 

生产工具决定生产力,并且其变革推动着社会形态的变迁‌。

 

尽管对于AI的使用仍有很多问题待于跟进,但是面对势不可挡之潮,优先尝试可能更利于工作与生活。

 

尤其是很多企业家,可以借助AI镀金个人名片,打造更亲切和高知的海外形象,让全球领略到中国企业家的风采。

 

以董明珠为例,“中女”崛起是近几年世界范围内的热门话题,请她用一口流利的英文,输出中国女性的独立、坚韧和气度,势必会引起一波热议。

 

500△ 董明珠

 

再以任正非为例,华为公司在他的带领下,不仅在技术上取得了重大突破,还在国际市场上赢得了广泛的认可和尊重。 

如果能再“说”一口流利的外语,那么世界将进一步欣赏到其个人魅力、卓越的领导力和精准的战略眼光。

 

500△ 任正非

 

另外,其他想从事海外工作的国内创始人亦可使用此方法,进行个人和公司品牌包装。

 

对此,极客电影推荐7款AI视频语音转译工具,各位极客朋友们可以择选其中,尝试一番。

 

 01 HeyGen 

 

500

 

HeyGen原名“Movio”,其背后公司时云科技由Joshua Xu和Wayne Liang于2020 年11月在洛杉矶创立。所使用的模型是自研的多模态内容生成引擎“Surreal Engine”。

 

500△  Wayne Liang(左)和 Joshua Xu(右)

 

在今年3月21日,HeyGen正式发布了5.0版本,当前支持40多种语言下300多种语音的自然发音,可以让用户从不同种族、年龄和姿势的 100多个AI头像中进行选择,使其以自然的口型同步进行念稿,具有非常丰富的个性化设置。 

 

500

 

其核心在于深度融合了语音识别、语音合成、口型生成以及视频处理等多项先进技术。

 

以泰勒·斯威夫特说普通话为例,首先,HeyGen通过先进的语音识别技术,将霉霉的英文原声转换为文字,确保信息的准确无误;

 

接着,利用语音合成技术,将识别出的文字转换为地道的中文发音,发音、音色和语调在这个环节完成;

 

然后,采用面部捕捉和口型生成技术,实现口型匹配,同时深度分析霉霉的面部特征,生成与中文发音相对应的口型动画。

 

最后,将生成的中文发音和口型动画与原始视频进行融合,确保声音、口型与视频画面的同步。

 

500

 

02 BodyTalk  

BodyTalk也是一款能够将视频中人物声音精准转换为其他语言的AI工具,由一家名为Panjaya的公司创立。

 

500

 

区别于HeyGen为全自研技术,BodyTalk采用的是“自研+三方”的混合型技术策略,其中,唇形同步引擎为内部研发。

 

目前,BodyTalk支持29种语言的翻译,可以复制说话者的原声特征,以及自动调整视频中人物的面部表情和肢体动作,使其与新语言的语音模式自然匹配。

 

其工作流程首先是进行音频翻译,然后是生成模仿原声说话者的新语音,接着是自动调整视频中说话者的口型和动作以匹配新的语言表达。处理一段视频的时间大抵需要几分钟。

 

500△ BodyTalk工作流程

 

03 LipDub 

 

LipDub是一款视频语音翻译和口型同步的移动APP,由2021年成立的公司Captions出品,目前支持28种语言,早些时候曾在App Store上线。 

500

其能够准确识别视频中的语音,使用GPT-4将其翻译成其他语言,并使用“ zero-shot model(零样本模型)”算法,将翻译后的语音与视频人物的口型进行匹配,让用户在几分钟内“用外语交流”。 

500

使用过程亦相对简单:上传一段视频、选择目标语言、获得带有新语音和口型同步的翻译视频。全程仅需要几分钟的时间。 

04 LipDub AI 

 

LipDub AI由加拿大公司MARZ开发,其与Captions 的LipDub不是一款工具。LipDub AI主要面向影视行业,为影视配音提供高质量的翻译视频。其处理1分钟的视频片段需要的运行时间不到20分钟。 

500

区别于其他口型配音AI,LipDub AI没有采用外部大型语言模型,而是使用自己的生成模型,该模型通过录音进行训练。 

05 AI Dubbing 

 

AI Dubbing支持多语言语音合成、声音复制、文本和音频处理技术,可以把任意一段音频或者视频快速翻译为29种语言,并且保留说话者的音色特征和情感。 

使用上,访问其官网,点击生成一个新项目,上传视频并选择需要转换语种的语言。 

500

 

另外,AI Dubbing官网还支持粘贴Youtube、TikTok、X(推特)、Vimeo等平台的链接。点击最下方的Create按钮,开始音频复制,完成后即可预览效果。

 

06 Verbalate 

 

Verbalate由澳大利亚人Grant Davies研发,可支持30分钟的视频。

 

500

 

作为一款通用的视频翻译和唇语同步工具,它能够轻松地将音频/视频内容转换为多种语言,并具备语音克隆和唇语同步功能,触达全球受众,解锁新收入,并扩大视频内容制作规模。

 

使用上,只需上传一段音频或视频内容,并选择要翻译成的语言。软件将使用语音克隆和唇语同步技术,无缝地翻译和同步内容。

 

您还可以自定义音轨并导出翻译后的视频。

 

07 Spotify 

 

500

 

流媒体巨头Spotify也未甘于人后,去年测试了“语音翻译(Voice Translation)”功能,可以复刻播客主播的声音,并使用一样的语气,节奏和速度,提供西班牙语,法语和德语的听力体验。

 

500

 

该功能是Spotify在OpenAI 的自动语音识别 (ASR) 系统Whisper的帮助下开发的,使用了语音转文本生成AI模型来翻译音频文件,并使用语音复制模型来匹配原始说话者的风格。

 

这项技术的早期测试已经在一些流行的英语播客上进行了,Spotify打算将这一功能扩展到更多的播客,甚至尝试为多语种主持人提供人工智能配音的内容。

全部专栏