NeRF&Beyond 9.14日报(TECA、室内3D建模、足球场景动态NeRF）
新视角生成、NeRF与三维表达相关
Text-Guided Generation and Editing of Compositional 3D Avatars
https://arxiv.org/abs/2309.07125
MPI、ETH、清华大学、RWTH Aachen University
本文的目标是仅使用文本描述创建一个包含头发和配饰的逼真 3D 面部头像。虽然这一挑战最近引起了人们的极大兴趣，但现有方法要么缺乏真实性，产生不切实际的形状，要么不支持编辑，例如修改发型。?作者认为现有方法是有限的，因为它们采用整体建模方法，对头部、面部、头发和配饰使用单一表示。例如，我们的观察结果是，头发和脸部具有非常不同的结构品质，这得益于不同的表示。基于这一见解，本文使用合成模型生成化身，其中头部、面部和上半身用传统的 3D 网格表示，头发、衣服和配饰则用神经辐射场 (NeRF) 表示。基于模型的网格表示为面部区域提供了强大的几何先验，提高了真实感，同时可以编辑人的外观。通过使用 NeRF 来表示其余组件，本文的方法能够建模和合成具有复杂几何形状和外观的零件，例如卷发和蓬松的围巾。我们的新颖系统根据文本描述合成这些高质量的合成头像。实验结果表明，本方法，文本引导生成和组合化身编辑（TECA），产生的化身比最近的方法更真实，同时由于其组合性质而可编辑。例如，TECA 可以在虚拟人物之间无缝传输发型、围巾和其他配饰等构成特征。此功能支持虚拟试穿等应用。
Exploiting Multiple Priors for Neural 3D Indoor Reconstruction
https://arxiv.org/abs/2309.07021
University of Padova、Sony Europe B.V.
神经隐式建模可以在小物体上实现令人印象深刻的 3D 重建结果，但在大型室内场景中表现出明显的局限性。本文提出了一种新颖的神经隐式建模方法，该方法利用多种正则化策略来实现大型室内环境的更好重建，同时仅依赖于图像。使用稀疏但准确的深度先验将场景锚定到初始模型。还引入了密集但不太准确的深度先验，足够灵活，仍然可以让模型偏离它以改进估计的几何形状。然后，提出了一种新颖的自监督策略来规范估计的表面法线。最后，可学习的曝光补偿方案使您能够应对具有挑战性的照明条件。实验结果表明，本文的方法可以在具有挑战性的室内场景中产生最先进的 3D 重建效果。
Dynamic NeRFs for Soccer Scenes
https://arxiv.org/abs/2309.06802
University of Liège、EVS Broadcast Equipment
新视图合成这一长期存在的问题有很多应用，特别是在体育广播中。足球动作的真实感新颖的视图合成尤其引起了广播行业的极大兴趣。然而，只有少数工业解决方案被提出，能够实现接近广播级质量的合成重播的解决方案就更少了。除了在运动场周围设置多个静态摄像机之外，最好的专有系统几乎不会透露有关其内部运作的任何信息。由于缺乏公共数据集，利用多个静态摄像机来完成此类任务确实提出了文献中很少提及的挑战：重建大规模、大部分静态的环境，其中包含小型、快速移动的元素。最近，神经辐射场的出现在许多新颖的视图合成应用中取得了惊人的进展，利用深度学习原理在最具挑战性的环境中产生照片级真实感结果。本文研究了基于动态 NeRF（即旨在重建一般动态内容的神经模型）的任务解决方案的可行性。?本文构建了合成足球环境并使用它们进行了多项实验，确定了有助于使用动态 NeRF 重建足球场景的关键组件。?表明，尽管这种方法不能完全满足目标应用的质量要求，但它为实现具有成本效益的自动化解决方案提供了有希望的途径。?作者还公开了工作数据集和代码，目的是鼓励研究社区在动态足球场景的新颖视图合成任务上进一步努力。有关代码、数据和视频结果，请参考项目主页。
- 发表于:
- 原文链接：https://page.om.qq.com/page/OKznA2OqXX4Q7buJj46RemAA0
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
