目录
绪论 1
第 1章数据降维的线性方法 7
11机器学习中的数据降维 7
12低秩近似与主成分分析 8
13分布语义学与潜在语义分析 18
14协同过滤与低秩矩阵补全 21
第 2章机器学习中的解析优化方法 24
21判别式线性分类模型与支持向量机 24
22凸优化的定义与性质 28
23线性最小二乘法及其正则化方法 31
24拉格朗日乘子法38
25拉格朗日对偶与 KKT条件 44
26支持向量机的对偶形式与核技巧 48
第 3章深度学习中的数值优化方法 54
31深度学习中的神经网络及其通用性 54
32梯度下降法及其收敛性 58
33随机梯度下降法及其改进 68
34基于梯度反向传播的神经网络参数优化方法 79
35神经网络参数优化中的初始化与正则化方法 83
第 4章参数估计与推断方法 86
41生成式分类模型与贝叶斯分类器 86
42最大似然估计 88
43贝叶斯估计 99
44贝叶斯分类器及其学习方法 109
45基于不完全数据的参数估计与期望最大化算法 114
46近似推断与变分贝叶斯方法 123
第 5章估计量性能分析方法 130
51估计量的性能指标 130
52 Fisher信息与 Cramér-Rao下界 136
53充分统计量与 Rao–Blackwell-Lehmann–Scheffé定理 150
第 6章概率图模型与方法 166
61有向图模型与贝叶斯网络 166
62无向图模型与马尔可夫随机场 173
· II ·人工智能数学方法(基础篇)
63精确推断方法与变量消除 181
64近似推断方法与循环置信传播 185
第 7章序列数据模型与方法 193
71序列数据建模与随机过程 193
72马尔可夫链 199
73隐马尔可夫模型及其学习与推断方法 210
74状态空间模型与方法 222
75高斯过程与贝叶斯优化方法 232
附录数学基础知识
第 8章线性代数 243
81线性空间、赋范空间与内积空间243
82线性空间的基与 Gram-Schmidt正交化 246
83线性变换与矩阵 248
84矩阵的秩与秩-零化度定理251
85矩阵的迹与行列式 253
86特征值、特征向量与矩阵的特征分解 255
87实对称矩阵、二次型与矩阵的奇异值分解 257
88矩阵范数 262
第 9章多元函数微积分 265
91矩阵求导及其记法 265
92泰勒公式、梯度向量与 Hessian矩阵 266
93多元向量值函数的雅可比矩阵与反函数定理 273
94常用矩阵求导公式 276
第 10章概率论 279
101随机变量与常见概率分布 279
102随机变量的数字特征 287
103随机变量的分布变换 291
第 11章信息论 294
111 Kullback-Leibler散度与交叉熵 294
112互信息、条件互信息与信息处理不等式295
113熵与微分熵 298
114最大熵分布 301
参考文献 305