Python通过90行代码搭建一个音乐搜索工具


Posted in Python onJuly 29, 2015

下面小编把具体实现代码给大家分享如下:

之前一段时间读到了这篇博客,其中描述了作者如何用java实现国外著名音乐搜索工具shazam的基本功能。其中所提到的文章又将我引向了关于shazam的一篇论文及另外一篇博客。读完之后发现其中的原理并不十分复杂,但是方法对噪音的健壮性却非常好,出于好奇决定自己用python自己实现了一个简单的音乐搜索工具—— Song Finder, 它的核心功能被封装在SFEngine 中,第三方依赖方面只使用到了 scipy。

工具demo
这个demo在ipython下展示工具的使用,本项目名称为Song Finder,我把索引、搜索的功能全部封装在Song Finder中的SFEngine中。首先是简单的准备工作:

In [1]: from SFEngine import *
In [2]: engine = SFEngine()

在这之后我们对现有歌曲进行索引,我在original目录下准备了几十首歌曲(.wav文件)作为曲库:
In [3]: engine.index('original') # 索引该目录下的所有歌曲

在完成索引之后我们向Song Finder提交一段有背景噪音的歌曲录音进行搜索。对于这段《枫》在1分15秒左右的录音:

工具的返回结果是:

In [4]: engine.search('record/record0.wav')

original/周杰伦-枫 73

original/周杰伦-枫 31

original/周杰伦-枫 10

original/周杰伦-枫 28

original/我要快? - ??惠妹 28

其中展示的分别是歌曲名称及片段在歌曲中出现的位置(以秒计),可以看到工具正确找回了歌曲的曲名,也找到了其在歌曲中的正确位置。

而对于这段《童话》在1分05秒左右的背景噪音更加嘈杂的录音:

工具的返回结果是:

In [5]: engine.search('record/record8.wav')

original/光良 - 童话 67

original/光良 - 童话 39

original/光良 - 童话 33

original/光良 - 童话 135

original/光良 - 童话 69

可以看到尽管噪音非常嘈杂,但是工具仍然能成功识别所对应的歌曲并对应到歌曲的正确位置,说明工具在噪音较大的环境下有良好的健壮性!

项目主页: Github

Song Finder原理
给定曲库对一个录音片段进行检索是一个不折不扣的搜索问题,但是对音频的搜索并不像对文档、数据的搜索那么直接。为了完成对音乐的搜索,工具需要完成下列3个任务:

对曲库中的所有歌曲抽取特征
以相同的方式对录音片段提取特征
根据录音片段的特征对曲库进行搜索,返回最相似的歌曲及其在歌曲中的位置
特征提取?离散傅立叶变换!
为了对音乐(音频)提取特征,一个很直接的想法是得到音乐的音高的信息,而音高在物理上对应的则又是波的频率信息。为了获取这类信息,一个非常直接的额做法是使用离散傅叶变化对声音进行分析,即使用一个滑动窗口对声音进行采样,对窗口内的数据进行离散傅立叶变化,将时间域上的信息变换为频率域上的信息,使用scipy的接口可以很轻松的完成。在这之后我们将频率分段,提取每频率中振幅最大的频率:

def extract_feature(self, scaled, start, interval):

    end = start + interval

    dst = fft(scaled[start: end]) 

    length = len(dst)/2  

    normalized = abs(dst[:(length-1)])

    feature = [ normalized[:50].argmax(), \

                50 +  normalized[50:100].argmax(), \

                100 + normalized[100:200].argmax(), \

                200 + normalized[200:300].argmax(), \

                300 + normalized[300:400].argmax(), \

                400 + normalized[400:].argmax()]

    return feature

这样,对于一个滑动窗口,我提取到了6个频率作为其特征。对于整段音频,我们重复调用这个函数进行特征抽取:

def sample(self, filename, start_second, duration = 5, callback = None):

 start = start_second * 44100
 if duration == 0:
  end = 1e15
 else:
  end = start + 44100 * duration
 interval = 8192
 scaled = self.read_and_scale(filename)
 length = scaled.size
 while start < min(length, end):
  feature = self.extract_feature(scaled, start, interval)
  if callback != None:
   callback(filename, start, feature)
  start += interval

其中44100为音频文件自身的采样频率,8192是我设定的取样窗口(对,这样hardcode是很不对的),callback是一个传入的函数,需要这个参数是因为在不同场景下对于所得到的特征会有不同的后续操作。

匹配曲库
在得到歌曲、录音的大量特征后,如何进行高效搜索是一个问题。一个有效的做法是建立一个特殊的哈希表,其中的key是频率,其对应的value是一系列(曲名,时间)的tuple,其记录的是某一歌曲在某一时间出现了某一特征频率,但是以频率为key而非以曲名或时间为key。

表格。。

这样做的好处是,当在录音中提取到某一个特征频率时,我们可以从这个哈希表中找出与该特征频率相关的歌曲及时间!

当然有了这个哈希表还不够用,我们不可能把所有与特征频率相关的歌曲都抽出来,看看谁命中的次数多,因为这样会完全无视歌曲的时序信息,并引入一些错误的匹配。

我们的做法是,对于录音中在t时间点的一个特征频率f,从曲库找出所有与f相关的(曲名,时间)tuple,例如我们得到了

[(s1, t1), (s2, t2), (s3, t3)]

我们使用时间进行对齐,得到这个列表
[(s1, t1-t), (s2, t2-t), (s3, t3-t)]

记为
[(s1, t1`), (s2, t2`), (s3, t3`)]

我们对所有时间点的所有特征频率均做上述操作,得到了一个大列表:
[(s1, t1`), (s2, t2`), (s3, t3`), ..., (sn, tn`)]

对这个列表进行计数,可以看到哪首歌曲的哪个时间点命中的次数最多,并将命中次数最多的(曲名,时间)对返回给用户。

不足
这个小工具是一个几个小时写成的hack,有许都地方需要改进,例如:

目前只支持了wav格式的曲库及录音
所有数据都放在内存中,曲库体积增大时需要引入更好的后端存储
索引应该并行化,匹配也应该并行化,匹配的模型其实是典型的map-reduce。

以上就是Python通过90行代码搭建音乐搜索工具,希望大家喜欢。

Python 相关文章推荐
安装Python的web.py框架并从hello world开始编程
Apr 25 Python
python基础教程之分支、循环简单用法
Jun 16 Python
Python实现快速排序算法及去重的快速排序的简单示例
Jun 26 Python
TensorFlow变量管理详解
Mar 10 Python
python 列表删除所有指定元素的方法
Apr 19 Python
python变量赋值方法(可变与不可变)
Jan 12 Python
python numpy实现文件存取的示例代码
May 26 Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 Python
pytorch 更改预训练模型网络结构的方法
Aug 19 Python
Django Admin设置应用程序及模型顺序方法详解
Apr 01 Python
django haystack实现全文检索的示例代码
Jun 24 Python
python设置中文界面实例方法
Oct 27 Python
Python的迭代器和生成器
Jul 29 #Python
在Python程序中操作MySQL的基本方法
Jul 29 #Python
Python操作Word批量生成文章的方法
Jul 28 #Python
Python实现批量转换文件编码的方法
Jul 28 #Python
Python中subprocess的简单使用示例
Jul 28 #Python
Python中文竖排显示的方法
Jul 28 #Python
Python中的getopt函数使用详解
Jul 28 #Python
You might like
解决GD中文乱码问题
2007/02/14 PHP
PHP 出现乱码和Sessions验证问题的解决方法!
2008/12/06 PHP
解析Ubuntu下crontab命令的用法
2013/06/24 PHP
php多文件上传实现代码
2014/02/20 PHP
Laravel实现构造函数自动依赖注入的方法
2016/03/16 PHP
thinkPHP5.0框架安装教程
2017/03/25 PHP
让人印象深刻的10个jQuery手风琴效果应用
2012/05/08 Javascript
HTML Color Picker(js拾色器效果)
2013/08/27 Javascript
js实现单行文本向上滚动效果实例代码
2013/11/28 Javascript
Jquery实现仿腾讯娱乐频道焦点图(幻灯片)特效
2015/03/06 Javascript
javascript新闻跑马灯实例代码
2020/07/29 Javascript
WordPress中鼠标悬停显示和隐藏评论及引用按钮的实现
2016/01/12 Javascript
玩转JavaScript OOP - 类的实现详解
2016/06/08 Javascript
angular.js指令中transclude选项及ng-transclude指令详解
2017/05/24 Javascript
Javascript刷新页面的实例
2017/09/23 Javascript
JavaScript求一组数的最小公倍数和最大公约数常用算法详解【面向对象,回归迭代和循环】
2018/05/07 Javascript
Electron autoUpdater实现Windows安装包自动更新的方法
2018/12/24 Javascript
JS实现返回上一页并刷新页面的方法分析
2019/07/16 Javascript
基于vue实现探探滑动组件功能
2020/05/29 Javascript
Python最基本的输入输出详解
2015/04/25 Python
Python标准库sched模块使用指南
2017/07/06 Python
简单了解Python读取大文件代码实例
2019/12/18 Python
jupyter notebook读取/导出文件/图片实例
2020/04/16 Python
基于python爬取链家二手房信息代码示例
2020/10/21 Python
CSS3用@font-face实现自定义英文字体
2013/09/23 HTML / CSS
CSS3简单实现照片墙
2014/12/12 HTML / CSS
编写用C语言实现的求n阶阶乘问题的递归算法
2014/10/21 面试题
祖国在我心中的演讲稿
2014/05/04 职场文书
高三励志标语
2014/06/05 职场文书
毕业证委托书范文
2014/09/26 职场文书
中小学校园安全广播稿
2014/09/29 职场文书
教师纪律作风整顿心得体会
2016/01/23 职场文书
《乘法分配律》教学反思
2016/02/24 职场文书
Python数据可视化之绘制柱状图和条形图
2021/05/25 Python
python数字转对应中文的方法总结
2021/08/02 Python
Python 中的 copy()和deepcopy()
2021/11/07 Python