每日学术速递7.14
点击下方卡片，关注「AiCharm」公众号
Subjects: cs.CV
1.Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation
标题：Sketch-A-Shape：零镜头草图到 3D 形状生成
作者：Aditya Sanghi, Pradeep Kumar Jayaraman, Arianna Rampini, Joseph Lambourne, Hooman Shayani, Evan Atherton, Saeid Asgari Taghanaki
文章链接：https://arxiv.org/abs/2307.03869
摘要：
最近，大型预训练模型在 3D 视觉下游任务（例如文本到形状生成）的创造性应用方面取得了重大进展。这促使我们研究如何有效地使用这些预训练模型从草图生成 3D 形状，由于草图-形状配对数据集有限以及草图中抽象级别的不同，这在很大程度上仍然是一个开放的挑战。我们发现，在训练期间根据合成渲染的特征（从冻结的大型预训练视觉模型获得）调节 3D 生成模型，使我们能够在推理时从草图有效地生成 3D 形状。这表明大型预训练视觉模型特征携带能够适应域转换的语义信号，即允许我们仅使用 RGB 渲染，但在推理时推广到草图。我们进行了一系列全面的实验，研究不同的设计因素，并证明了我们的直接方法的有效性，即为每个输入草图生成多个 3D 形状，无论其抽象级别如何，而无需在训练期间使用任何配对数据集。
2.MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning( ACL 2023 Best Paper)
标题：MultiInstruct：通过指令调优改进多模态零样本
作者：Zhiyang Xu, Ying Shen, Lifu Huang
文章链接：https://arxiv.org/abs/2212.10773
项目代码：https://arxiv.org/pdf/2212.10773.pdf
摘要：
指令调优是一种新的学习范式，可根据指令指定的任务对预先训练的语言模型进行微调，它在各种自然语言处理任务上显示出了有希望的零样本性能。然而，它对于视觉和多模式任务还有待探索。在这项工作中，我们介绍了 MUL-TIINSTRUCT，这是第一个多模式指令调优基准数据集，由 62 个不同的多模式任务组成，采用统一的 seq-to-seq 格式，涵盖 10 个大类。这些任务源自 21 个现有的开源数据集，每个任务都配有 5 条专家编写的指令。我们以 OFA 作为多模态指令调优的基础预训练模型，为了进一步提高其零样本性能，我们探索了多种迁移学习策略来利用大规模 NATURAL INSTRUCTIONS 数据集。实验结果表明，在各种看不见的多模态任务上具有强大的零样本性能，以及从纯文本指令数据集进行迁移学习的好处。我们还设计了一个新的评估指标——灵敏度，来评估模型对各种指令的敏感程度。我们的结果表明，在不同的任务和指令集上微调模型会导致对每个任务的指令变化的敏感性降低。
Subjects: cs.AS
3.Roman Numeral Analysis with Graph Neural Networks: Onset-wise Predictions from Note-wise Features
标题：使用图神经网络进行罗马数字分析：根据音符特征进行起始预测
作者：Emmanouil Karystinaios, Gerhard Widmer
文章链接：https://arxiv.org/abs/2307.03544
项目代码：https://github.com/manoskary/chordgnn
摘要：
罗马数字分析是识别音调音乐作品中的和弦及其功能背景的重要任务。本文提出了一种在符号音乐中自动进行罗马数字分析的新方法。虽然现有技术依赖于乐谱的中间有损表示，但我们提出了一种基于图神经网络（GNN）的新方法，可以直接描述和处理乐谱中的每个音符。所提出的架构可以利用音符特征和音符之间的相互依赖性，但凭借我们新颖的边缘收缩算法产生起始表示。我们的结果表明，ChordGNN 的性能优于现有的最先进模型，在参考数据集的罗马数字分析中实现了更高的准确性。此外，我们还使用 NADE 等提出的技术以及和弦预测的后处理来研究模型的变体。
推荐阅读
ACL 2023奖项公布：3篇最佳论文、39篇杰出论文，多家国内机构上榜
SIGGRAPH 2023论文奖公布，山大、港大获奖，北大、腾讯光子获提名
点击卡片，关注「AiCharm」公众号
喜欢的话，请给我个在看吧！
