每日学术速递9.17
1.OmnimatteRF: Robust Omnimatte with 3D Background Modeling(ICCV 2023)
标题：OmnimatteRF：具有 3D 背景建模功能的强大 Omnimatte
作者：Geng Lin, Chen Gao, Jia-Bin Huang, Changil Kim, Yipeng Wang, Matthias Zwicker, Ayush Saraf
文章链接：https://arxiv.org/abs/2309.07749
项目代码：https://omnimatte-rf.github.io/
摘要：
视频抠图有着广泛的应用，从为随意拍摄的电影添加有趣的效果到协助视频制作专业人士。与阴影和反射等相关效果的抠图也吸引了越来越多的研究活动，并且已经提出了像 Omnimatte 这样的方法来将感兴趣的动态前景对象分离到它们自己的图层中。然而，先前的工作将视频背景表示为 2D 图像层，限制了它们表达更复杂场景的能力，从而阻碍了在现实世界视频中的应用。在本文中，我们提出了一种新颖的视频抠图方法 OmnimatteRF，该方法结合了动态 2D 前景层和 3D 背景模型。2D 图层保留了拍摄对象的细节，而 3D 背景则稳健地重建了现实世界视频中的场景。大量的实验表明，我们的方法可以在各种视频上以更好的质量重建场景。
2.DeePoint: Visual Pointing Recognition and Direction Estimation(ICCV 2023)
标题：DeePoint：视觉指向识别和方向估计
作者：Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, Ko Nishino
文章链接：https://arxiv.org/abs/2304.06018
项目代码：https://github.com/kyotovision-public/deepoint
摘要：
在本文中，我们实现了自动视觉识别和指向方向估计。我们基于两个关键贡献引入了第一个神经指向理解方法。首先是引入了首个用于指向识别和方向估计的大规模数据集，我们将其称为 DP 数据集。DP 数据集由超过 200 万帧的 33 个人以各种风格指向，并为每个帧注释了指向时间和 3D 方向。第二个是 DeePoint，一种新颖的深度网络模型，用于联合识别和指向的 3D 方向估计。DeePoint 是一个基于 Transformer 的网络，它充分利用身体部位的时空协调，而不仅仅是手。通过大量的实验，我们证明了 DeePoint 的准确性和效率。我们相信 DP 数据集和 DeePoint 将为视觉人类意图理解奠定坚实的基础。
3.Generative Image Dynamics
标题：生成图像动力学
作者：Zhengqi Li, Richard Tucker, Noah Snavely, Aleksander Holynski
文章链接：https://arxiv.org/abs/2309.07906
项目代码：https://generative-dynamics.github.io/
摘要：
我们提出了一种在场景动态之前对图像空间进行建模的方法。我们的先验是从一系列运动轨迹中学习到的，这些运动轨迹是从真实的视频序列中提取的，其中包含自然的振荡运动，例如树木、花朵、蜡烛和风中飘扬的衣服。给定单个图像，我们训练的模型使用频率协调扩散采样过程来预测傅立叶域中的每像素长期运动表示，我们将其称为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。与基于图像的渲染模块一起，这些轨迹可用于许多下游应用，例如将静态图像转换为无缝循环的动态视频，或者允许用户与真实图片中的对象进行真实的交互。
我正在参与2023腾讯技术创作特训营第二期有奖征文，瓜分万元奖池和键盘手表