📙
音视频开发技术手册
  • 《音视频开发技术：原理与实践》©
    • =[>> 关于作者© <<]=
    • =[>> 版权申明© <<]=
    • =[>> 难度向导© <<]=
    • =[>> 赞助本作© <<]=
  • 一、音频的保存与还原
    • 1.1 音频基础
    • 1.2 声波三要素（Three Elements of Acoustics）
    • 1.3 声音三要素（Three Elements of Sounds）
      • 1.3.1 音高（Pitch）
      • 1.3.2 响度（Loudness）
      • 1.3.3 音色（Timbre）
    • 1.4 声音的解构
      • 1.4.1 乐理：音调（Notes） & 五度圈（Circle of Fifths）
      • 1.4.2 乐理：和声（Harmony） & 和弦（Chord）& 调性网络（Tonnetz）
      • 1.4.3 感观：等响曲线（ELLC [Equal Loudness-Level Contour]）
      • 1.4.4 感观：频响曲线（FRC [Frequency Response Contour]）
      • 1.4.5 工程：频谱图（Spectrum）
    • 1.5 声音数字化
      • 1.5.1 数字信号（Digital Signal）& 模拟信号（Analog Signal）& 真实波源（Original Source）
      • 1.5.2 模数转换（A/D [Analog-to-Digital]）
      • 1.5.3 数模转换（D/A [Digital-to-Analog]）
      • 1.5.4 脉冲编码调制（PCM）& 脉冲密度调制（PDM）
    • 1.6 音频的存储
      • 1.6.1 音频格式（Audio Format）
      • 1.6.2 无压缩编码格式（Uncompressed Encode）
      • 1.6.3 无损压缩编码格式（Lossless Encode）
      • 1.6.4 有损压缩编码格式（Uncompressed Encode）
    • 【参考文献】
  • 二、色彩的运用与存储
    • 2.1 色彩基础
    • 2.2 颜色三要素（Three Elements of Color）
      • 2.2.1 色调（Hue）
      • 2.2.2 饱和度（Saturation）
      • 2.2.3 光亮度（Luminance）
    • 2.3 色彩的衡量
      • 2.3.1 辐射亮度（Radiance）& 色温（Color Temperature）& 颜色的量化
      • 2.3.2 配色函数（Color Matching Functions）& 色彩空间（Color Space）
      • 2.3.3 经典三原色函数（Trichromatic Primaries Functions）
      • 2.3.4 经典三刺激函数（Tristimulus Values Functions）
      • 2.3.5 现代色彩体系（Modern Color System）
    • 2.4 色彩的对比
      • 2.4.1 色域（Color Gamut ）
      • 2.4.2 色度（Chroma）& 色度平面（Chroma Plane）& 色度图（Chroma Diagram）
      • 2.4.3 色差（Chromatic Aberration）
      • 2.4.4 色温（Color Temperature）& 相关色温（Correlated Color Temperature）
      • 2.4.5 标准光源（Standard Illuminants）& 白点（White Point）
      • 2.4.6 显色指数（Color Rendering Index）
    • 2.5 经典色彩空间（Classical Color Space）
      • 2.5.1 光学三原色色彩空间（RGB）
      • 2.5.2 颜料三原色色彩空间（CMY / CMYK ）
      • 2.5.3 CIE RGB 色彩空间（CIE 1931 RGB Color Space）
      • 2.5.4 CIE XYZ 色彩空间（CIE 1931 XYZ Color Space）
      • 2.5.5 CIE LAB 色彩空间（CIE 1976 L*, a*, b* Color Space）
      • 2.5.6 CIE LUV 色彩空间（CIE 1976 L*, u*, v* Color Space）
      • 2.5.7 颜色三要素色彩空间（HSV / HSI / HSL）
    • 2.6 色彩的存储
      • 2.6.1 色彩格式（Color Format）与色彩存储
      • 2.6.2 RGB 体系色彩格式
      • 2.6.3 YUV 体系色彩格式
    • 【参考文献】
  • 三、音视频常用基础算法
    • 3.1 信号分析的核心算法 - 傅立叶变换
      • 3.1.1 一维傅立叶（1D-FT）与一维离散傅立叶变换（1D-DFT）
      • 3.1.2 二维傅立叶（2D-FT）与二维离散傅立叶变换（2D-DFT）
      • 3.1.3 傅立叶变化的经典 - 快速傅立叶变换（FFT）
      • 3.1.4 傅里叶的硬件优化 - 多常数乘法矩阵逼近（Matrix-MCM Approach）
    • 3.2 频率信息提取 - 常用滤波算法
      • 3.2.1 高斯滤波（Gauss Filter）
      • 3.2.2 双边滤波（Bilateral Filter）
      • 3.2.3 拉普拉斯滤波（Laplacian Filter）
      • 3.2.4 马尔滤波（Marr Filter）
      • 3.2.5 索贝尔滤波（Sobel Filter）
      • 3.2.6 各向异性扩散（Anisotropic Diffusion）
    • 3.3 时间冗余控制 - 常用特征提取与朴素阈值处理
      • 3.3.1 方向梯度直方图（HOG [Histogram of Oriented Gradient]）
      • 3.3.2 朴素目标检测结果度量 - IoU & GIoU
      • 3.3.3 朴素目标检测物体锁定 - 分步滑动窗口（Simple Sliding Window）
    • 3.4 空域冗余控制 - 基础光流算法与色度压缩
      • 3.4.1 传统光流法（Classic Optical Flow Methods）
      • 3.4.2 双向光流预测（BDOF [Bi-Directional Optical Flow]）
      • 3.4.3 光流仿射修正（PROF [Affine Prediction Refinement With Optical Flow]）
      • 3.4.4 色度缩放亮度映射（LMCS [Luma Mapping with Chroma Scaling]）
    • 3.5 频域冗余控制 - 基础变换编码
      • 3.5.1 整数离散正余弦变换（DST/DCT）
      • 3.5.2 哈达玛变换（WHT [Walsh-Hadamard Transform]）
      • 3.5.3 低频不可分变换（LFNST [Low-Frequency Non-Separable Transform]）
    • 【在线展示】
    • 【参考文献】
  • 四、音视频机器学习基础
    • 4.1 发展概览
    • 4.2 模型工程基础
      • 4.2.1 算子（Operator）& 层（Layer）
      • 4.2.2 神经元（Neuron）
      • 4.2.3 神经网络（NN [Neural Network]）
      • 4.2.4 特征选择（Feature Selection）
    • 4.3 经典激活函数（Classic Activation Function）
      • 4.3.1 Sigmoid
      • 4.3.2 Tanh
      • 4.3.3 Softplus
      • 4.3.4 ReLU 族
      • 4.3.5 ELU & SELU
      • 4.3.6 Mish
      • 4.3.7 Swish 族
    • 4.4 连接函数/衰减函数（Connection/Attenuation Function）
      • 4.4.1 Dropout
      • 4.4.2 Maxout
      • 4.4.3 SoftMax
    • 4.5 损失函数（Loss Function）
      • 4.5.1 回归项-平均绝对误差（MAE [Mean Absolute Error]）
      • 4.5.2 回归项-均方误差（MSE [Mean Squared Error]）
      • 4.5.3 回归项-休伯损失（Huber Loss）
      • 4.5.4 回归项-分位数损失（Quantile Loss）
      • 4.5.5 分类项-对数损失（Log Loss）
      • 4.5.6 分类项-交叉熵损失（Cross Entropy Loss）
      • 4.5.7 分类项-合页损失（Hinge Loss）
      • 4.5.8 分类项-对比损失（Contrastive Loss）
      • 4.5.9 分类项-三元损失（Triplet Loss）
      • 4.5.10 分类项-对组排异损失（N-Pair Loss）
      • 4.5.11 正则项-L1 惩罚
      • 4.5.12 正则项-L2 惩罚
    • 4.6 常用最优化算法（Optimizer Operator）
      • 4.6.1 基础优化算法
      • 4.6.2 优化算法的优化-应对震荡
      • 4.6.3 优化算法的优化-应对重点强（弱）化更新
      • 4.6.4 自适应实时评估算法（Adam [Adaptive Moment Estimation]）
      • 4.6.5 优化算法对比与使用建议
    • 4.7 模型结构速览
      • 4.7.1 卷积神经网络（CNN [Convolutional Neural Network]）
      • 4.7.2 循环神经网络（RNN [Recurrent Neural Network]）
      • 4.7.3 自注意力网络（Transformer）
    • 【参考文献】
  • 五、音视频帧分析与数据处理
    • 5.1 音视频帧与环境准备
      • 5.1.1 常用数学库（Numpy、Pandas、Mateplotlib）
      • 5.1.2 音频分析库（SoundFile、PyAudio、Librosa、Aubio）
      • 5.1.3 视频分析库（PyOpenCV、Color-Science）
      • 5.1.4 其他分析软件
    • 【参考文献】
Powered by GitBook
On this page
  • 1.3 声音三要素（Three Elements of Sounds）
  • 预备乐理（声乐）知识

Was this helpful?

  1. 一、音频的保存与还原

1.3 声音三要素（Three Elements of Sounds）

Hex Data Display

1.3 声音三要素（Three Elements of Sounds）

声音三要素（Three Elements of Sounds） 是人们从 心理声学（Psychoacoustics） 角度，对最能影响人对声音本身感官感受的，三个最重要关键参数的归纳。分别是：音高（Pitch） 、 响度（Loudness） 、 音色（Timbre）。

预备乐理（声乐）知识

由于 声音（Sounds） 和 音乐（Musics） 密不可分。而很多知识，尤其是人的主观认知，总是会和先验艺术有关。为了接下来的工程方面理解，这里先非展开的，提前介绍一些关键 声乐（艺术）概念 ：

  • 纯音（Pure Tone），是指单一频率的正弦函数波形声波的声音；

  • 音阶（Octave），即倍频程，指半频率增减的八度音阶。属于工程声乐学；

  • 音程（Interval），指两个纯音之间所差的音阶体系下的距离，即度数；

  • 音名（Names），指音阶不变的前提下，相隔八度的纯音的集合。属于声乐术语（艺术）；

  • 音级（Steps），指同音名下，从低到高的每个独立纯音的层级。属于声乐术语（艺术）；

  • 半音（Semitone），指音程为音阶一半的音名，即（八度下的）四度音；

  • 音调（Notes），全体音名、半音的统称。在欧拉提出 调性网络 后，来自于网络拓扑；

  • 音分（Cent），人为对两个相邻半音间的音程，以 波长比 为 12002^{1200}\sqrt{2}12002​ ，作 100 非等分；

  • 音序（Sequence），指顺序排列下，同音级的相邻两个音调的距离；

除了八度音外，还有 七度音（Heptachord） 和 五度音（宫商角徵羽），本文从工程特点出发， 统一用八度音（Octave）代指音阶（音阶英文是 Gamut、Scale，易与其它概念造成混淆）。

理想的音阶是由纯音构成。 下文若无说明，音阶 均采用理想音阶（Ideal Octave）。 而 八度指的是在八度音下，同一个音名两个相临音级差异，即音程，为 八度。 八度音阶包含 7 个音名，5 个半音，8 个音级，即钢琴键位：

图中，黑色琴键为半音，白色琴键为纯音（理想）。 而 C4 则是 A4（440 Hz）对应通用 A440 标准下的基准键（Standard Key），有 C4 为 261.63Hz 标准。 Hz 是频率的单位，我们将在后续介绍。

A440 八度音阶又被称为 斯图加特音阶（Stuttgart Octave），属于 ISO 16 标准。根据标准，有音阶频率表如下：

Steps Names

0

1

2

3

4

5

6

7

8

C

16.352 (−48)

32.703 (−36)

65.406 (−24)

130.81 (−12)

261.63 (0)

523.25 (+12)

1046.5 (+24)

2093.0 (+36)

4186.0 (+48)

C♯/D♭

17.324 (−47)

34.648 (−35)

69.296 (−23)

138.59 (−11)

277.18 (+1)

554.37 (+13)

1108.7 (+25)

2217.5 (+37)

4434.9 (+49)

D

18.354 (−46)

36.708 (−34)

73.416 (−22)

146.83 (−10)

293.66 (+2)

587.33 (+14)

1174.7 (+26)

2349.3 (+38)

4698.6 (+50)

D♯/E♭

19.445 (−45)

38.891 (−33)

77.782 (−21)

155.56 (−9)

311.13 (+3)

622.25 (+15)

1244.5 (+27)

2489.0 (+39)

4978.0 (+51)

E

20.602 (−44)

41.203 (−32)

82.407 (−20)

164.81 (−8)

329.63 (+4)

659.26 (+16)

1318.5 (+28)

2637.0 (+40)

5274.0 (+52)

F

21.827 (−43)

43.654 (−31)

87.307 (−19)

174.61 (−7)

349.23 (+5)

698.46 (+17)

1396.9 (+29)

2793.8 (+41)

5587.7 (+53)

F♯/G♭

23.125 (−42)

46.249 (−30)

92.499 (−18)

185.00 (−6)

369.99 (+6)

739.99 (+18)

1480.0 (+30)

2960.0 (+42)

5919.9 (+54)

G

24.500 (−41)

48.999 (−29)

97.999 (−17)

196.00 (−5)

392.00 (+7)

783.99 (+19)

1568.0 (+31)

3136.0 (+43)

6271.9 (+55)

G♯/A♭

25.957 (−40)

51.913 (−28)

103.83 (−16)

207.65 (−4)

415.30 (+8)

830.61 (+20)

1661.2 (+32)

3322.4 (+44)

6644.9 (+56)

A

27.500 (−39)

55.000 (−27)

110.00 (−15)

220.00 (−3)

440.00 (+9)

880.00 (+21)

1760.0 (+33)

3520.0 (+45)

7040.0 (+57)

A♯/B♭

29.135 (−38)

58.270 (−26)

116.54 (−14)

233.08 (−2)

466.16 (+10)

932.33 (+22)

1864.7 (+34)

3729.3 (+46)

7458.6 (+58)

B

30.868 (−37)

61.735 (−25)

123.47 (−13)

246.94 (−1)

493.88 (+11)

987.77 (+23)

1975.5 (+35)

3951.1 (+47)

7902.1 (+59)

表格横向为音级，纵向为音名（包含半音）。橙色为标准钢琴，所包含的八度音阶。表中数值格式为：

【对应频率（Hz）】（距离 C4 基准的（+/-）音序）

简单乐理知识准备就绪。现在，读者肯定存在大量思考，比如：什么或为什么是频率？这和声音三元素又有什么关系？乐理和工程又是怎么关联的？

让我们带着这些知识和疑问，来进入细节。

Previous1.2 声波三要素（Three Elements of Acoustics）Next1.3.1 音高（Pitch）

Last updated 8 months ago

Was this helpful?

图 1-6 八度音钢琴键盘示意图