首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Easy-Wav2Lip 一键整合包:人物视频图片说话秒生成

引言:

在数字娱乐和内容创作时代,通过一张图片和声音生成视频口型同步技术已成为实现角色真实感和互动性的关键技术。它广泛应用于电影、动画、游戏、广告开发以及虚拟直播等领域。然而,传统的唇同步制作流程往往涉及复杂的技术操作和长时间的渲染,这不仅限制了创作者的创作效率,也提高了制作成本。为了解决这一问题,Easy-Wav2Lip应运而生。

它是一个基于Wav2Lip技术的改进版本,旨在通过简化操作流程、提升处理速度和优化视觉效果,为用户提供一个高效、易用且功能强大的AI视频口型同步工具。Easy-Wav2Lip的出现,极大地方便了创作者的使用,带来了前所未有的便捷体验。

项目地址:

https://github.com/anothermartz/Easy-Wav2Lip

特点介绍:

Easy-Wav2Lip的核心改进和特点可以概括为以下几点:

操作简便性:通过Google Colab或一键式Windows安装脚本,用户无需复杂的配置即可快速启动。提供了详尽的文档和指南,确保用户能够轻松理解和操作。

处理速度的飞跃:在Google Colab T4上,9秒720p 60fps视频的处理时间从6分53秒缩短至56秒,再次处理同一视频仅需25秒,极大提升了工作效率。

视觉效果的提升:解决了嘴唇同步中的视觉瑕疵,提供了三种质量选项:快速、改进和增强,以适应不同的制作需求。

高级定制功能:用户可以根据需要调整唇同步的精确度、平滑度、填充和遮罩等参数,以达到最佳的视觉效果。

安装与使用流程:

提供2种安装形式一种是简单的整合包,打开即用文末自取。

另一种是本地自行安装,需要有一定的基础代码能力大家自己选择。

一. 整合包安装使用:

1. 先安装Cuda和cuDNN,如果系统内已经安装了可以跳过这步。

继续点击“下一步” 直到完成。

然后将提供的“cudnn-windows-x86_64-8.9.7.29_cuda11-archive.zip”

压缩包解压到Cuda目录文件夹下

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7下

然后将下面3个路径填入系统环境变量中

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\includeC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libnvvp

2. 解压Easy-Wav2Lip压缩包,找到“Wav2Lip,启动!.bat” 双击启动运行。

界面是全中文的,左边直接上传人脸图片或者视频,右边上传音频,这里还可以剪辑音频长度。

就可以点击“一键三连了”,具体参数都是中文,大家自己尝试调节。

到此处,整合包安装使用完。

二. 本地自行安装:

在Windows 10或11系统上本地安装Easy-Wav2Lip的步骤如下:

1. 下载安装脚本:

访问Easy-Wav2Lip的GitHub页面,

https://github.com/anothermartz/Easy-Wav2Lip

下载名为"Easy-Wav2Lip.bat" 的安装脚本。

2. 放置脚本:

将下载的".bat"文件放置在你的电脑文件夹中,例如“D盘\新建个Easy-Wav2Lip文件夹”。

3. 运行脚本:

双击运行“.bat”文件,并按照提示操作。

确保你的NVIDIA显卡驱动是最新的,以便支持CUDA 12。

4. 自动安装:

"Easy-Wav2Lip.bat"将自动检查并安装所需的软件,下载并安装Easy-Wav2Lip,然后进入配置和处理循环,直到你关闭程序。

它还会检查Easy-Wav2Lip的更新。

对于其他配置(未经测试)或手动安装,你需要确保以下工具已安装并可通过终端访问:

Python(建议使用3.10.11版本,其他版本可能不兼容)

Git

ffmpeg、ffplay、ffprobe

Visual Studio Build Tools C++模块

CUDA(只需安装最新版本的NVIDIA驱动即可)

在终端中运行以下命令:

git clone https://github.com/anothermartz/Easy-Wav2Lip.gitcd Easy-Wav2Lippip install -r requirements.txtpython install.py

5.?配置文件:

在使用Easy-Wav2Lip前我们还需要配置好路径,安装完成后。会生成一个名为“config.ini”的配置文件。

在这个文件中,添加你的视频和音频文件路径,并根据喜好配置设置。如果需要,可以查看“Advanced Tweaking” 部分,了解如何调整设置以获得最佳效果。

保存“config.ini” 文件并关闭它,这将启动Wav2Lip处理过程。

处理后的文件将保存在与视频文件相同的目录下。

6. 启动和调整:

双击启动run_loop.bat文件来启动Easy-Wav2Lip。

如果需要,可以在处理前预览输入的视频/音频,确保选择了正确的文件。也可以只渲染视频的一帧来调整设置,而无需渲染整个视频。具体操作和整合包无差异,大家自行尝试。

到此处,本地手动安装完。

补充:需要注意的是Easy-Wav2Lip只生成了嘴唇部分的动画,如果我们只输入图片生成,结果是完全没有头部动画的。如果我们想要有头部动画可以输入视频文件,这样生成的更自然。这点比SDWebUI-Sadtalker只依靠图片生成的更好更自然。关于Sadtalker可以看下面这个文章:

总结:

Easy-Wav2Lip以其用户友好的设计、高效的处理能力和高质量的输出,为视频制作和虚拟角色创作提供了一个强大的支持。它的出现不仅降低了技术门槛,还极大地提高了制作效率,使得更多的创作者能够轻松实现高质量的视频唇同步。随着技术的不断进步,Easy-Wav2Lip将继续优化,为用户带来更加丰富和便捷的功能。对于那些寻求在视频制作中实现高效、高质量唇同步的专业人士和爱好者来说,Easy-Wav2Lip无疑是一个理想的选择。

完over。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OT96bf8hhuJjymF94oR7uH_A0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券
http://www.vxiaotou.com