进军音乐界，谷歌利用神经网络创造人类从未听过的声音
【新智元导读】谷歌大脑和 DeepMind 合作发布一个名为 NSynth （Neural Synthesizer）的神经声音合成器，数据库全公开，将为音乐人，乃至其他艺术家提供全新的艺术创作工具。
Jesse Engel 在演奏一种介于古钢琴和哈蒙德风琴之间的乐器，这是18世纪古典与20世纪节奏布鲁斯交叉的风格。然后，他在 laptop 上慢慢拖动一个滑块，突然间，音乐变成了其他的风格。之前，比如说，它是15%的古钢琴，现在，接近了75%古钢琴风格。然后，他以最快速度来回拖动滑块，注意着这两种非常不同的乐器之间的所有声音。
Engel 的同事 Cinjon Resnick 从房间另一头远远地说：“这可跟同时演奏两种乐器不是一回事。”而且这句话是需要说明的。这个机器，以及它的软件，并不是将古钢琴的乐声覆盖在哈蒙德风琴的声音之上。软件通过使用两种乐器音符的数字特征，产生了全新的声音。而且不只是古钢琴和哈蒙德风琴，它们可以处理大约1000种不同的乐器——从小提琴到巴拉风——利用人工智能，从已有的声音中创造出无数新的声音。
Engel 和 Resnick 都是 Google Magenta 团队的成员，这是 Google 内部的一个小的 AI 研究团队，专注于开发能够自己创造艺术的计算机系统——然后这是他们的一个最新项目。这个项目被称为 NSynth，该团队将在本周晚些时候参加在北卡罗来纳州达勒姆市举行的 Moogfest，公开展示这一技术。
Google 上月发布的博客文章首次讨论了 NSynth，想法是，NSynth 将为音乐人提供全新的音乐制作工具。但评论家 Marc Weidenbaum 指出，这种方法与乐队指挥所做的并无太大不同——“将乐器混合并不是什么新鲜事物”，但他也认为，Google 的技术可以推动这种悠久的方法进入新的领域，他说：“在艺术上，它可能会产生一些很酷的东西，而且因为是 Google 做的 ，人们总愿意跟随 Google 的潮流。”
声音的边界
Magenta 是 Google Brain 的一部分，Google Brain 是谷歌的主要 AI 实验室，其中一部分研究人员在探索神经网络和其他形式的机器学习的界限。神经网络是复杂的数学系统，通过分析大量数据来学习任务，而且近年来，神经网络被证明是实现许多任务的一种非常有效的方式，包括识别图像中的物体和人脸，识别给智能手机的语音命令，以及把一种语言翻译为另一种语言，等等。现在，Magenta 的想法是使用神经网络作为教机器制作新的音乐和其他艺术形式的一种方式。
NSynth 从一个大型的声音数据库开始。Engel 和团队从大约1000种不同的乐器收集了各种各样的音符，然后将它们喂入神经网络。通过分析音符，神经网络学习每种乐器的音色。然后，神经网络为每个音符创建一个数学“矢量”。利用这些矢量，机器可以模拟每个乐器的声音，例如哈蒙德风琴或古钢琴，也可以将两者的声音组合。
Engel 最近在 Google 总部展示了 NSynth “滑块”，除此之外，该团队还做了一个二维界面，可以一次探索四种不同乐器的声音空间。团队想把这个想法更推进一步，探索艺术创作的边界。例如，第二个神经网络可以学习模拟和组合来自所有这些乐器的声音的新方法，AI 可以与 AI 协力工作。
该团队还为 AI 研究者和其他计算机科学家创造了一个新的游戏场。他们发布了一篇描述 NSynth 算法的研究论文，任何人都可以下载和使用他们的声音数据库。对 Magenta 团队负责人 Douglas Eck 来说，前景在于研究人员可以为任何艺术家（而不仅是音乐家）创造更广泛的工具。但范围也不要太宽。没有界限的艺术将不再是艺术，关键在于找到当前和无限之间的平衡。