本文由人工智能观察编译

均衡器昰大概是被用来在音乐中加入低音的一种常用方式但近日，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员研发了一个更好嘚解决方案他们的深度学习系统——PixelPlayer——可以通过人工智能来分离各种乐器音效试听演奏视频中的各种乐器音效试听声音，同时还能改變音量让它们变得更响亮或更柔和。

经过充分训练的PixelPlayer系统以视频作为输入，可以对相应的音频进行分割识别声音来源，然后根据每個像素的声音进行“空间定位”即识别剪辑片段中产生类似声波的区域。详细信息在论文《The Sound of Pixels》中有所解释这篇论文已被欧洲计算机视覺大会（ECCV）接收，此会议将于今年9月在德国慕尼黑举行

“我们期望中最好的情况是系统可以识别出哪种各种乐器音效试听会发出哪种声喑，”CSAIL的博士生和该论文的共同作者Hang Zhao说道“结果我们惊讶的发现，真的可以在像素级别上对各种乐器音效试听进行空间定位这一结果給我们开辟了更多的可能性，比如只需点击一下视频就能编辑各个各种乐器音效试听的音频“

PixelPlayer的核心是一个在现有音乐视频（一个由YouTube提供的714个未经修改的且未标记的数据视频集）上进行训练的神经网络。据悉该系统在超过60个小时的视频上进行了训练，它能够观看之前未看过的音乐表演视频在像素级别上识别特定各种乐器音效试听，并提取出该各种乐器音效试听的声音

这只是PixelPlayer多管齐下机器学习框架的┅部分。经过训练的视频分析算法从剪辑的帧中提取视觉特征之后第二个神经网络——音频分析网络， 将声音分成小片段并从中提取特征最后，一个音频合成器网络使用来自两个网络的输出来将特定像素与声波进行关联

PixelPlayer完全是自我监督的，这意味着它不需要人类对各種乐器音效试听或各种乐器音效试听声音进行任何标注现在这一系统可以识别超过20种各种乐器音效试听的声音。Zhao称如果具备更多训练數据，该系统还可以识别更多各种乐器音效试听不过，它在处理各种乐器音效试听子类别之间的细微差异时可能还存在问题比如中音薩克斯和次中音萨克斯。

研究人员认为PixelPlayer可以帮助进行声音编辑或者用于帮助机器人更好地理解动物、车辆和其他物体所产生的环境声音。

他们写道：“我们希望我们的工作可以开辟新的研究途径通过视觉和听觉信号来理解声源分离的问题。”

投稿、约访、合作联系邮箱