音频文件
时域中波形
之前我们称它为时间序列数据,但现在我们称它为波形。或者,两者兼而有之。 当我们只看这个音频文件的一小部分时,这一点变得更加清晰。 下图显示了与上面相同的内容,但这次只有 62.5 毫秒。
您可以看到一个时间信号,它以不同的频率和幅度在值 0 附近振荡。该信号表示气压随时间的变化,或扬声器膜(或您耳朵中的膜)的物理位移 . 这就是为什么这种对音频数据的描述也称为波形的原因。
频率是该信号振荡的速度。低频,例如60 Hz 可能是低音吉他的声音,而鸟儿的歌声可能是 8000 Hz 的更高频率。人类语言通常介于两者之间。
要知道这个信号需要多快被解释,我们还需要知道记录数据的采样率。 在这种情况下,每秒的采样率为 16'000 或 16k Hz。 也就是说上图中我们可以看到的1'000个时间点代表62.5毫秒(1000
频域傅里叶变换
虽然之前的可视化可以告诉我们什么时候发生了事情(即大约 2 秒似乎有很多波形信号),但它不能真正告诉我们它发生的频率。 因为波形向我们显示了有关时间的信息,所以该信号也被称为在时域中。
使用快速傅立叶变换,我们可以反转这个问题,并获得关于存在哪些频率的清晰信息,同时丢失关于时间的所有信息。 在这种情况下,信号表示被称为在频域中。
让我们看看我们之前所说的句子在频域中的表现。
import scipy
import numpy as np
from matplotlib import pyplot as plt
y_freq=np.abs(scipy.fftpack.fft(y))
f=np.linspace(0,sr,len(y_freq))
plt.figure(figsize=(12,3))
plt.semilogx(f[:len(f)//2],y_freq[:len(f)//2])
plt.xlabel("Frequence (Hz)")
plt.show()
您可以在此处看到大部分信号在 ~100 到 ~1000 Hz 之间(即 10² 到 10³ 之间)。另外,似乎还有一些从 1'000 到 10'000 Hz 的额外内容。
频谱图
我们并不总是需要决定时域或频域。 使用频谱图,我们可以从这两个领域中获利,同时将它们的大部分障碍保持在最低限度。 有多种方法可以创建这样的频谱图,但在本文中,让我们特别看一下其中的三种。
短时傅里叶变换 (STFT)
使用之前快速傅立叶变换的小型改编版本,即短时傅立叶变换 (STFT),我们可以创建这样的频谱图。 此处应用的小技巧是以滑动窗口的方式计算多个小时间窗口(因此称为“短时傅立叶”)的 FFT。
梅尔谱图
作为 STFT 的替代方案,您还可以计算基于梅尔标度的梅尔谱图。 这个度量解释了我们人类感知声音音高的方式。 计算梅尔度量,以便人类将梅尔度量中由 delta 隔开的两对频率感知为具有相同的感知差异。
梅尔谱图的计算与 STFT 非常相似,主要区别在于 y 轴使用不同的刻度。
梅尔频率倒谱系数 (MFCC)
音频数据清理
特征提取
探索性数据分析(EDA)音频数据
特征分布分析
机器学习模型建立
源代码