前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Cutie:视频抠图蒙版,视频扣人物一键安装中文整合包

Cutie:视频抠图蒙版,视频扣人物一键安装中文整合包

原创
作者头像
用户1077121
发布2023-12-10 16:33:37
2580
发布2023-12-10 16:33:37
举报
文章被收录于专栏:AI技术大本营AI技术大本营

Cutie用于自动识别和追踪视频里的特定物体,比如一个人或一辆车。假设你有一段视频,里面有很多人和物体在移动,Cutie可以自动找出其中一个特定的人并一直追踪他。

它还能够非常精确地把目标物体从其他背景物体中分离出来,

主要特点:

1、自动识别和追踪特定物体:在视频中自动找出并跟踪你指定的物体,比如一个人、一辆车或任何其他物体。

2、高级对象理解:不仅仅是看每个小点(像素),而是能“记住”并理解整个物体的大概样子和特性。

3、精确分割:能够非常精确地把目标物体从其他背景物体中分离出来。

4、适应复杂场景:即使在有很多物体和复杂背景的视频中,也能准确地进行对象分割。

5、高效运行:虽然功能强大,但运行速度也相当快,适用于需要实时处理的应用场景。

这些功能使得 Cutie 非常适用于各种需要对象识别和追踪的场合,包括但不限于自动驾驶、视频编辑、安全监控等。

AI技术论坛将上述工具制作成一键启动包,点击即可使用,避免大家配置Python环境出现各种问题,下载地址:?https://www.aibl.vip,在此页面右侧区域点击下载!

注意电脑配置如下:

windows 10/11

8G显存以上英伟达显卡

下载使用教程

下载压缩包 下载地址:https://www.aibl.vip/thread-229-1-1.html,在此页面右侧区域点击下载!

解压,最好不要有中文路径,解压后,如下图所示,双击启动.exe文件运行

点击浏览选择视频文件,然后点击开始程序

软件打开后如下所示

使用教程

1、核心机制:在一个或多个帧上注释对象并使用自动提取完成视频。使用永久存储器存储准确的分割(将好的帧提交给它)以获得最佳结果。进入内存库的第一帧始终提交到永久存储器。如果需要,可以重置内存。

2、使用左键进行前景注释,右键进行背景注释。

3、使用中键切换可视化目标(用于分层、弹出和黑白mask导出)。

4、使用数字键或旋钮更改要操作的对象。如果没有响应,很可能在程序启动时未指定正确数量的对象。

5、“导出为视频”仅汇总保存在磁盘上的可视化效果。需要勾选“保存叠加”才能实现此目的。

6、导出的黑白/软mask可以在其他应用程序中使用,如ProPainter。请注意,修复更喜欢过分分割而不是不足分割 - 如果需要,请使用较大的膨胀半径。

7、内存可能会因错误的分割而受损。请善用“重置内存”,不要提交错误的分割。

8、“分层”可视化模式在前景和背景之间插入一个RGBA层。使用“导入层”选择新层。

工作原理总结

1、初识目标:在视频的第一帧(就是视频的第一张图片)里,Cutie 首先找到你想跟踪的物体,并记住它的位置和形状。

2、记忆特点:找到物体后,Cutie 不仅记住了物体的大致轮廓,还会存储物体的详细像素信息。这就像是给物体拍了一张身份证照。

3、新帧识别:当视频继续播放,出现新的画面(或称为“帧”)时,Cutie 会用之前记住的“粗略特征”来快速找到物体。

4、精确定位:找到大致位置后,Cutie 再用之前存储的“详细信息”来精确确认物体的位置和形状。

5、快速准确:因为Cutie 同时使用了粗略特征和详细信息,所以它能在视频中非常快速而准确地找到并跟踪物体。

这样,无论视频里的物体如何移动或变化,Cutie 都能准确地“锁定”它。这在很多场合都非常有用,比如在安全监控、自动驾驶车辆或者医学研究中。

主要技术手段

Cutie主要特点是具有对象级别的内存读取能力。与传统的像素级内存读取方法不同,Cutie 采用了一种自上而下的对象级内存读取方式,这有助于提高在复杂数据集上的性能。

1、对象变换器(Object Transformer) Cutie 的核心组件是一个对象变换器,它使用一组端到端训练的对象查询来与底层像素特征进行交互。这些对象查询作为目标对象的高级摘要,而高分辨率的特征图则用于精确的分割。

2、前景-背景掩码注意力(Foreground-Background Masked Attention) Cutie 还引入了一种前景-背景掩码注意力机制。这允许一部分对象查询仅关注前景,而其余的仅关注背景。这样做可以更清晰地分离前景对象和背景的语义。

3、对象内存(Object Memory) 除了像素内存外,Cutie 还引入了一个紧凑的对象内存,用于总结目标对象的特征。这增强了端到端对象查询与目标特定特征的交互,从而实现了目标对象的有效长期表示。

在实际评估中,使用 MOSE 标准测试时,Cutie 的表现比 XMem 方法高出 8.7 分。此外,与DeAOT方法相比,Cutie获得了4.2分的高分,其处理速度比DeAOT快三倍。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com