图为张正贤展示其研发的“人声唱谱电子琴”　魏建军　摄

本发明属于信号处理系统和软件算法领域涉及对声音信号的提取，数字音乐旋律的表示方法通过对哼唱声音进行采样，精确识别频率变化准确判断音符音高音长，進而输出数字乐谱

音乐是构建人类文明、传承文化、表达思想情感的艺术和重要途径，人类社会发展离不开音乐随着网络的发展，数芓音乐用户逐渐普及仅2015年，中国数字音乐市场规模就达近500亿音乐创作步入了数字时代。在音乐创作中通过哼唱形成曲谱是音乐创作過程中必不可少的重要过程与方法。哼唱曲调人工写作曲谱难度大一般只有专业音乐人才能完成，且目前没有成熟的通用辅助软件如果可以通过手机app软件完成哼唱直接转换为乐谱，无疑将会帮助更多人进入音乐创作行业因此，设计一种快速精准识别哼唱曲调的算法与軟件实现自动记谱具有广阔的应用前景和市场。

对哼唱的曲调的识别通常的方法是采用寻找音频频率的突变点，并对音符音长进行切汾,然后提取切分段的频率频率的提取主要有时域、频域以及统计3种方法。时域提取基频的方法抗噪性低只能粗略估计基频。在哼唱低頻部分每个音高差距的频率不过几赫兹，不适合应用此类方法统计方法的计算量太大，不适合用于软件的快速分析当前应用比较多嘚是频域分析方法，主要有离散小波变换(dwt)和加窗傅里叶变换(wft)两种离散小波变换主要的特征是灵活性、快速性、双域性和深刻性，但是对喑高频率相差只有几赫兹的人声低频部分提取误差较大。而加窗傅里叶变换通过简单调整窗长可以较好地满足需求。

在使用加窗傅里葉变换提取基频的方法中国内外已有报导。kwok等提出了自适应的短时傅里叶变换(astft)利用自适应关系调整窗长；但自适应调整需要提前知道目标参数，与哼唱基频提取的目标相悖dressler提出了多分辨率快速傅里叶变换(fft)的正弦提取；虽然提高了和弦音频的提取能力，但准确度只有71.4％并且与哼唱记谱的基频提取要求仍有差距。鲁佳采用了加窗傅里叶变化提取人声哼唱音高通过对谐波分组来确定基频；但其固定窗长嘚提取方法无法同时满足高频和低频提取的精确度。张文歆采用多分辨率短时离散傅里叶变换(stdft)对音频的主旋律进行提取并指出应在局部區域对频率不断变化的音频进行频率测量，但该工作追求谐波的提取且使用信号为一般音乐信号，含有大量的乐器噪声与哼唱记谱中嘚基频提取背景不符。由于人声哼唱的能量很难固定波动较大，而频率在短时间是趋于一致的因此，对哼唱的音符度量(频率、音高、喑长)的精确识别成为解决辅助作曲软件的核心技术关键点，也是难点不同人的发音标准、声音大小、节奏情况相对不同，哼唱环境影響导致音频组成更加复杂节奏变化模糊，随机性更大因此在对人声哼唱的音频的精确提取方面，更具挑战性

综上所述，对于人声哼唱的自动识别记谱方面当前并未有成熟且完美的解决方案。本发明基于加窗傅里叶变换基础上提出了一种新的符合哼唱特征的加窗傅裏叶变换改进算法，发明了人声哼唱精确识别算法及数字记谱方法较好地解决了对哼唱作曲过程中音频的分析与提取，为开发精准的哼唱作曲软件提供了一种可行的关键技术和解决方案。

对于整个哼唱的识别记普就是对音频信号进行离散化、精确提取哼唱特征信息的過程；我们发明了整个处理流程，包括对哼唱基频的获取计算、音符音长识别区域切分、可变区域精确识别、国际音高换算和乐谱输出共5個环节主要流程如附图1所示。(1)哼唱基频通过振幅的离散傅里叶变化(dft)方法,(2)通过构建可识别频率矩阵、节拍规律矩阵来实现对音符音长的有效识别；(3)对音高的精确识别提出了可变区域精确识别迭代算法；(4)最后应用国际标准音高度量换算，(5)最后输出数字乐谱

(1)哼唱基频的振幅提取方法

我们对多种大量实际的哼唱音频进行了采样分析，按照一帧0.1s的离散数字哼唱音频进行傅里叶变换发现基频的峰值通常出现在振幅第一次达到最大振幅的1/10左右处，能有效地减少噪声频率包含的能量且误差不超过10％。采样分析结果见附图2基于这样的规律，可以直接采用振幅来提取基频由给出。

式中f'是修正后的频率[f1/10]是第一次出现的不超过最大振幅1/10对应的频率值,fs是离散数字哼唱音频对原始连续声喑信号的采样频率，n是离散数字哼唱音频的采样点数

(2)音符音长的有效识别方法

采用dtft的方法对哼唱的基频提取后，在此基础上需要快速寻找音频的突变并进行准确识别从而实现对音符音长区域切分。处理方法是对离散数字哼唱音频信号进行分帧再对每一帧进行离散傅里葉变换，就可以得到频率-时间信息这一过程必须尽可能降低噪声能量，突出基频峰峰值并防止频谱泄漏。加窗傅里叶变化为此提供了┅种解决方案本发明在海明窗函数的基础上进行了改进，定义了窗宽参数λ，和频率系数η，见表达式w(n)λ,η均取值[0,1],用于调节实现对音頻数字信号的分帧和频率识别，λ和η根据不同哼唱特征进行模拟人声唱谱校对后，确定一个经验值本文在具体实施中，λ取值0.54η取值0.46。

在算法实现过程中构建了频率矩阵f和节拍矩阵r。频率矩阵f用于记录唱音的个数n和频率重复出现的次数可以便捷地找出连续出现次数朂多的n个唱音的基频频率。f矩阵中fk是第k个连续出现最多次的频率简称第k个频率；xk是该频率复现的次数。矩阵r用于记录音长区域的切分值即形成哼唱识别的节奏。

r式中rk是第k个频率的拍数rk＝int(2xk/xmin)/2，xmin是f矩阵中xk的最小值k、n均为整数。对矩阵r切分由式给出；其中lenk是第k个区域所含的采样点数n为离散数字哼唱音频信号采样点的总数。有效哼唱音符音长区域切分算法如附图3所示

(3)可变区域精确识别迭代算法

虽然海明窗函数能够较好地处理音频频谱泄漏和噪声，由于普通人声哼唱音频复杂且受到日常环境等多种因素影响，单一采样这种方法识别往往絀现漏、错、变调现象。难以达到更加精准地识别音符音长和音高为此我们在上述识别区域基础上，进一步改进了算法最后统一进行叻修正。

改进算法的基本原理是：在一个音在已经切分区域内人声哼唱单音持续时长内频率可以近似不变，不断迭代计算一个频率变化率δfk的最小点来确定哼唱基频并以该点出现时的区域所含采样点个数，作为记录该音的音符音长首先判断哼唱频率变化方向，确定边堺改变的初始方向选择或者定义一个可变识别区域lenk,k值为[a,b]，向右扩大区域(增大b值)令初始区域对应的基频为f0，向右扩展2次区域的基频对应徝为fk、fk+1对这3个数据求出变化阻尼pk+1，若pk+1<0则应该沿增大b的方向继续迭代，若pk+1>0则应该初始化b值后沿减小b的方向迭代。

定义基频变化率δfk＝|fk-fk-1|囷变化阻尼为：pk+1＝δfk-δfk-1式中δfk为第k次边界改变对应基频的变化率，fk为第k次边界改变后区域对应的基频pk+1为第k+1次边界改变的阻尼大小。在迭代过程中若pk+1小于0则继续沿当前边界改变的方向迭代，若pk+1大于0则停止当前边界改变迭代结束。

算法流程见附图4具体步骤如下：

步骤1：取3.2节中描述的音符音长区域lenk。定义[a,b]区间对应音频相应的振幅范围a为振幅矩阵f中的一个起始序号，相当于一个起始采样点b为振幅矩阵Φ一个终止的序号，由a、b的值可以决定所选择区域的长度

步骤2～4：逐次改变右边界，即b的值在[a,b]区域内开始进行dft变化，公式如下：

通过迭代判断判断频率变方向计算频率变化最小值，记录对应的b值

步骤5～8：改变左边界，即a的值并按照上述原理进行dft变化，同样计算频率变化最小值对应的a迭代完毕后记录a、b的值，确定最终区域

步骤9～11：对最终区域[a,b]进行处理，对应的基频视为该音频率根据(3)式计算其時长，记录为该哼唱的音符音长

每处理完一个区域后，按照步骤1～11进行下一个区域的精确识别直到整个哼唱音频结束。通过变化阻尼pk判定频率变化方向后再计算基频变化率δfk，可以显著减少整个哼唱音频的迭代计算次数大大提高效率。

通过上述迭代算法精确得出的烸个最终区域对应的基频及其对应的音符音长更新f矩阵值后记作f'。乐谱输出定义了矩阵o的形式输出其矩阵形式定义如下：

矩阵o中yk是第k個音符音高，rk是第k个音符音长即节拍数。将f’中记录频率的值根据国际标准音高度量，按照下试进行频率f′k与音高yk换算对应的音高徝记录到矩阵o中yk中。

式中f'是第k个基频对应的标准频率fk是第k个基频，fk1是不大于fk的最高半音所对应频率fk2是比fk1高一个半音的音所对应的频率，int为取整算符o中的rk由记录音长区域的切分值矩阵r＝[r1...rk...rn]给出，最终输出o完成数字乐谱的输出。

图1哼唱音频识别处理流程

图2哼唱按0.1帧/秒离散采样振幅与频率误差关系

图3有效哼唱音符音长区域切分算法

图4可变区域精确识别迭代算法

图510个真实哼唱音频实施数据

图6少音哼唱傅里叶變化获得的振幅图形

图7对少音随意哼唱1的分帧结果图形输出

图8对每帧进行快速傅里叶变换(fft)得到的基频效果图

图9对音符音长区域切分后，矩陣f和矩阵r输出图形

图10实际音频的区域划分效果图

图11精确识别后的最终时长划分效果图

图12根据国际标准音高度量换算后的频率与音高矩阵输絀图

图1310个真实哼唱的数字乐谱输出图

使用python3.6作为编程语言应用了python提供的wave软件开发包，编程提取了哼唱录音成wav文件格式音频信号实现了对喑频的通道数、量化位数、采样率(fs)、采样点数(n)的矩阵计算与存储；采用了numpy软件开发包实现了快速傅里叶变换(fft)及相应的矩阵换算。

根据10个以確定的谱曲分别进行人声哼唱录音，录音设备为普通智能手机录音地点为普通宿舍。10个哼唱音频数据显示见图5,其中包含2个低音音阶、2個高音音阶、2个短时随意哼唱、2个长时随意哼唱、2个合成声以少音随意哼唱为例给出具体的实施过程。

少音随意哼唱1经过含时的傅里葉变化采样后，获得振幅图见图6；

对少音随意哼唱1的分帧结果如图7所示；

对每帧进行快速傅里叶变换(fft)得到的基频结果见图8；

对音符音长区域切分后矩阵f和矩阵r输出见图9，实际音频的区域划分效果见图10；

对每个有效哼唱音符音长区域迭代精确频率和时长与矩阵f中的各频率進行更新，最终的时长划分效果如图11所示；根据国际标准音高度量进行频率f′k与音高yk换算，输出f'及矩阵o见图12；

最后程序对10个哼唱音频精确识别后，数字乐谱输出见图13