Sora黯然失色!Meta AI视频模型Movie Gen炸裂登场:可以配音、编辑

格隆汇

2小时前

全球社交巨头Meta发布最新大模型Movie Gen,正式进军文生视频领域!

就在昨晚,Meta首次公开展示了自家的“用于媒体的突破性生成式 AI 研究”:Meta Movie Gen。

而就在这关键时刻,10月4日讯,OpenAI 的 Sora 负责人突然宣布离职,下一站加入谷歌 Deepmind!

精准剪辑、还能配乐

最大技术亮点是,Movie Gen能直接生成带精准配乐的视频,目前Sora、Runway、Luma等一线产品都无法提供该功能。它可以根据文本提示生成长达16秒的高清视频(1080p),帧率高达16fps,满足用户对视频内容的个性化需求。

更令人惊叹的是,用户可以通过上传自己的图像,生成包含自己形象的个性化视频,这种深度的个性化体验是前所未有的。

能理解物体运动、主体-客体交互和摄像机运动,各种概念的合理运动都不在话下。具体来看,该模型能进行精确的视频编辑,包括添加、移除或替换元素,以及修改背景和风格等全局性修改。

尽管今年陆续已有不少视频模型相继亮相,但大多只能生成“哑剧”,食之无味弃之可惜,而这也是Movie Gen最引人注目的,Movie Gen能够根据视频内容和文本指令生成高质量的音效和音乐,与视频内容高度匹配并同步。

技术层面上,Movie Gen采用了最新的Llama 3架构,并引入了流匹配技术,这一创新的训练方法不仅提高了生成效率,还提升了视频的细节表现。

Meta公司使用了多达6144个H100 GPU进行大规模训练,确保了Movie Gen的高性能。

Movie Gen的应用前景非常广阔。

媒体娱乐领域,它可以用于生成电影预告片、音乐视频等内容,为用户提供更加丰富和个性化的娱乐体验。

教育领域,Movie Gen可以辅助教师制作教学视频,提高学生的学习兴趣和效果。

而在广告行业,Movie Gen可以根据广告创意快速生成吸引人的视频广告,提高广告的传播效果。

同时,Meta 对 Movie Gen 的性能非常自信, 他们进行了一系列的人工评估,结果表明,在视频生成、视频个性化、视频编辑和音频生成这四个方面,Movie Gen 都比业内类似模型表现更好!

开启全民视频创作者的时代

Meta的Movie Gen模型发布后,受到了业界的广泛关注。

它不仅展示了Meta在AI领域的技术实力,也为整个行业的发展指明了新的方向。随着技术的不断进步和应用的不断拓展,AI视频生成将成为未来媒体内容创作的重要趋势。

Meta CEO扎克伯格称,Movie Gen明年会上线Meta旗下的社交媒体Instagram。

有意思的是,他也在个人Instagram账号发布了一段Movie Gen生成的视频,显示他在用腿部推举机,随着他开始锻炼,背景发生了变化。

先是显示,他在一家霓虹灯照耀的未来风格健身房锻炼,然后变为,他穿着角斗士盔甲锻炼,接着变为他推动一台燃烧的纯金机器,最后变为,他用腿部推举一盒鸡块,周围是一片薯条。

看完演示 demo 的 Lex Fridman 言简意赅地表达了赞叹。许多网友再次“拉踩”OpenAI 的期货 Sora,但更多翘首以待的网友已经开始期待测试体验资格的开放了。

有网友对Movie Gen的全面化功能相当震惊,表示,Meta比OpenAI更高的发布了Sora。

Meta AI 首席科学家 Yann LeCun 也在线为 Meta Movie Gen 站台宣传。 在社交媒体上,用户们对Movie Gen的讨论同样热烈。

一位名为@VideoCreator的网友表示,"Meta的Movie Gen让我看到了视频创作的未来,它让制作视频变得像写文章一样简单。" 

全球社交巨头Meta发布最新大模型Movie Gen,正式进军文生视频领域!

就在昨晚,Meta首次公开展示了自家的“用于媒体的突破性生成式 AI 研究”:Meta Movie Gen。

而就在这关键时刻,10月4日讯,OpenAI 的 Sora 负责人突然宣布离职,下一站加入谷歌 Deepmind!

精准剪辑、还能配乐

最大技术亮点是,Movie Gen能直接生成带精准配乐的视频,目前Sora、Runway、Luma等一线产品都无法提供该功能。它可以根据文本提示生成长达16秒的高清视频(1080p),帧率高达16fps,满足用户对视频内容的个性化需求。

更令人惊叹的是,用户可以通过上传自己的图像,生成包含自己形象的个性化视频,这种深度的个性化体验是前所未有的。

能理解物体运动、主体-客体交互和摄像机运动,各种概念的合理运动都不在话下。具体来看,该模型能进行精确的视频编辑,包括添加、移除或替换元素,以及修改背景和风格等全局性修改。

尽管今年陆续已有不少视频模型相继亮相,但大多只能生成“哑剧”,食之无味弃之可惜,而这也是Movie Gen最引人注目的,Movie Gen能够根据视频内容和文本指令生成高质量的音效和音乐,与视频内容高度匹配并同步。

技术层面上,Movie Gen采用了最新的Llama 3架构,并引入了流匹配技术,这一创新的训练方法不仅提高了生成效率,还提升了视频的细节表现。

Meta公司使用了多达6144个H100 GPU进行大规模训练,确保了Movie Gen的高性能。

Movie Gen的应用前景非常广阔。

媒体娱乐领域,它可以用于生成电影预告片、音乐视频等内容,为用户提供更加丰富和个性化的娱乐体验。

教育领域,Movie Gen可以辅助教师制作教学视频,提高学生的学习兴趣和效果。

而在广告行业,Movie Gen可以根据广告创意快速生成吸引人的视频广告,提高广告的传播效果。

同时,Meta 对 Movie Gen 的性能非常自信, 他们进行了一系列的人工评估,结果表明,在视频生成、视频个性化、视频编辑和音频生成这四个方面,Movie Gen 都比业内类似模型表现更好!

开启全民视频创作者的时代

Meta的Movie Gen模型发布后,受到了业界的广泛关注。

它不仅展示了Meta在AI领域的技术实力,也为整个行业的发展指明了新的方向。随着技术的不断进步和应用的不断拓展,AI视频生成将成为未来媒体内容创作的重要趋势。

Meta CEO扎克伯格称,Movie Gen明年会上线Meta旗下的社交媒体Instagram。

有意思的是,他也在个人Instagram账号发布了一段Movie Gen生成的视频,显示他在用腿部推举机,随着他开始锻炼,背景发生了变化。

先是显示,他在一家霓虹灯照耀的未来风格健身房锻炼,然后变为,他穿着角斗士盔甲锻炼,接着变为他推动一台燃烧的纯金机器,最后变为,他用腿部推举一盒鸡块,周围是一片薯条。

看完演示 demo 的 Lex Fridman 言简意赅地表达了赞叹。许多网友再次“拉踩”OpenAI 的期货 Sora,但更多翘首以待的网友已经开始期待测试体验资格的开放了。

有网友对Movie Gen的全面化功能相当震惊,表示,Meta比OpenAI更高的发布了Sora。

Meta AI 首席科学家 Yann LeCun 也在线为 Meta Movie Gen 站台宣传。 在社交媒体上,用户们对Movie Gen的讨论同样热烈。

一位名为@VideoCreator的网友表示,"Meta的Movie Gen让我看到了视频创作的未来,它让制作视频变得像写文章一样简单。" 

展开
打开“财经头条”阅读更多精彩资讯
最新评论

参与讨论

APP内打开