NeRF and Beyond进展23.6.12日报（GANeRF，HyP-NeRF，DiViNeT等以及点云与多模态的综述）
今天观察到有NeRF、深度估计和体渲染以及diffusion相关的进展，以及两个点云和多模态相关的综述，分类列举如下，请大家参考
NeRF进展
GANeRF: Leveraging Discriminators to Optimize Neural?Radiance?Fields
https://arxiv.org/abs/2306.06044
TUM, Meta Reality Labs
1. 使用GAN提升因视角观察不佳或是微小光照变化带来的重建缺陷，提升3D场景重建的真实感
2. 使用一个2D的adversarial loss直接更新3D场景表达，在训练时使用一个discriminator获取image patch的分布。通过adversarial training，3D NeRF更新符合这个分布；另外一个2D generator通过分析NeRF在不同分辨率的渲染结果，进行优化
3. PSNR角度上提升渲染质量超过1.4dB
4. 可以看作是一种新的思路，将渲染prior与新视角生成结合，结合2D与3D方法，成为一种更高级的方法，应该可以滋生很多新的思路
HyP-NeRF: Learning Improved NeRF Priors using a HyperNetwork
https://arxiv.org/abs/2306.06093
印度理工学院，Brown University
一个NeRF泛化的工作，使用hypernetwork不只预测NeRF的weights，而且预测多分辨率的hash encoding，得到性能提升。可以成为一个新的泛化prior，完成单视角NeRF重建或text to NeRF等下游任务
Neural Haircut: Prior-Guided Strand-Based Hair Reconstruction
https://arxiv.org/abs/2306.05872
Samsung AI Center,?Rockstar Games,?FAU Erlangen-Nurnberg,?Cinemersive Labs
提出一种从单目视频或多视角图片，在不可控光照的条件下，精确的头发几何重建方法，达到了高真实感和个性化的重建头发建模效果。
DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization
https://arxiv.org/abs/2306.04699
Simon Fraser University
以三个disparate RGB图像为输入，使用基于体渲染的神经表面建模方法。在DTU和BlendMVS数据集上实现稀疏建模的最佳效果
体渲染、深度估计相关进展
Transfer?Function Optimization for Comparative Volume Rendering
https://arxiv.org/abs/2306.05885
TUM
一种transfer function的自动优化方法，提供了两种方法解决voxel space或image space的优化问题。
Lightweight Monocular Depth Estimation via Token-Sharing Transformer
https://arxiv.org/abs/2306.05682
韩国科学技术院，MOBIS
一种token-sharing transformer的架构完成单目深度估计的方法，尤其是在嵌入式设备有效，在nVidia Jetson Nano上可以达到63.4fps的速度，在nVidia Jetson TX2上可以达到142.6fps，错误率更低。
相关方向综述
3D objects and scenes classification, recognition, segmentation, and reconstruction using 3D point cloud data: A review
https://arxiv.org/abs/2306.05978
Qatar University,?University of Carthage, Tunis
一个完整的关于3D点云数据进行场景分类，识别，分割和重建的综述。
Multimodal Explainable?Artificial Intelligence: A Comprehensive?Review of Methodological Advances and Future Research?Directions
https://arxiv.org/abs/2306.05731
Harokopio University of Athens,?University of Western Macedonia
一个对多模态可解释人工智能方向的综述
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20230612A03UIY00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
