第1 章一元函数微积分1
1.1 极限与连续. . . . . . . . . . . . . . 1
1.1.1 可数集与不可数集. . . . . . . . 1
1.1.2 数列的极限. . . . . . . . . . . . 3
1.1.3 函数的极限. . . . . . . . . . . . 7
1.1.4 函数的连续性与间断点. . . . . 9
1.1.5 上确界与下确界. . . . . . . . . 11
1.1.6 李普希茨连续性. . . . . . . . . 12
1.1.7 无穷小量. . . . . . . . . . . . . 13
1.2 导数与微分. . . . . . . . . . . . . . 14
1.2.1 一阶导数. . . . . . . . . . . . . 14
1.2.2 机器学习中的常用函数. . . . . 20
1.2.3 高阶导数. . . . . . . . . . . . . 22
1.2.4 微分. . . . . . . . . . . . . . . . 24
1.2.5 导数与函数的单调性. . . . . . 25
1.2.6 极值判别法则. . . . . . . . . . 26
1.2.7 导数与函数的凹凸性. . . . . . 28
1.3 微分中值定理. . . . . . . . . . . . . 29
1.3.1 罗尔中值定理. . . . . . . . . . 29
1.3.2 拉格朗日中值定理. . . . . . . . 29
1.3.3 柯西中值定理. . . . . . . . . . 31
1.4 泰勒公式. . . . . . . . . . . . . . . . 31
1.5 不定积分. . . . . . . . . . . . . . . . 33
1.5.1 不定积分的定义与性质. . . . . 33
1.5.2 换元积分法. . . . . . . . . . . . 35
1.5.3 分部积分法. . . . . . . . . . . . 36
1.6 定积分. . . . . . . . . . . . . . . . . 37
1.6.1 定积分的定义与性质. . . . . . 38
1.6.2 牛顿-莱布尼茨公式. . . . . . . 39
1.6.3 定积分的计算. . . . . . . . . . 40
1.6.4 变上限积分. . . . . . . . . . . . 41
1.6.5 定积分的应用. . . . . . . . . . 42
1.6.6 广义积分. . . . . . . . . . . . . 44
1.7 常微分方程. . . . . . . . . . . . . . 45
1.7.1 基本概念. . . . . . . . . . . . . 45
1.7.2 一阶线性微分方程. . . . . . . . 46
第2 章线性代数与矩阵论49
2.1 向量及其运算. . . . . . . . . . . . . 49
2.1.1 基本概念. . . . . . . . . . . . . 49
2.1.2 基本运算. . . . . . . . . . . . . 51
2.1.3 向量的范数. . . . . . . . . . . . 53
2.1.4 解析几何. . . . . . . . . . . . . 55
2.1.5 线性相关性. . . . . . . . . . . . 57
2.1.6 向量空间. . . . . . . . . . . . . 58
2.1.7 应用——线性回归. . . . . . . . 61
2.1.8 应用——线性分类器与支持
向量机. . . . . . . . . . . . . . 62
2.2 矩阵及其运算. . . . . . . . . . . . . 65
2.2.1 基本概念. . . . . . . . . . . . . 65
2.2.2 基本运算. . . . . . . . . . . . . 67
2.2.3 逆矩阵. . . . . . . . . . . . . . 72
2.2.4 矩阵的范数. . . . . . . . . . . . 78
2.2.5 应用——人工神经网络. . . . . 78
2.2.6 线性变换. . . . . . . . . . . . . 81
2.3 行列式. . . . . . . . . . . . . . . . . 82
2.3.1 行列式的定义与性质. . . . . . 83
2.3.2 计算方法. . . . . . . . . . . . . 91
2.4 线性方程组. . . . . . . . . . . . . . 92
2.4.1 高斯消元法. . . . . . . . . . . . 92
2.4.2 齐次方程组. . . . . . . . . . . . 93
2.4.3 非齐次方程组. . . . . . . . . . 95
2.5 特征值与特征向量. . . . . . . . . . 97
2.5.1 特征值与特征向量. . . . . . . . 97
2.5.2 相似变换. . . . . . . . . . . . . 105
2.5.3 正交变换. . . . . . . . . . . . . 106
2.5.4 QR 算法. . . . . . . . . . . . . . 110
2.5.5 广义特征值. . . . . . . . . . . . 112
2.5.6 瑞利商. . . . . . . . . . . . . . 112
2.5.7 谱范数与特征值的关系. . . . . 114
2.5.8 条件数. . . . . . . . . . . . . . 114
2.5.9 应用——谱归一化与谱正则化. . . . . . . . . . . . . . . . . 115
2.6 二次型. . . . . . . . . . . . . . . . . 116
2.6.1 基本概念. . . . . . . . . . . . . 116
2.6.2 正定二次型与正定矩阵. . . . . 116
2.6.3 标准型. . . . . . . . . . . . . . 119
2.7 矩阵分解. . . . . . . . . . . . . . . . 121
2.7.1 楚列斯基分解. . . . . . . . . . 121
2.7.2 QR 分解. . . . . . . . . . . . . . 123
2.7.3 特征值分解. . . . . . . . . . . . 127
2.7.4 奇异值分解. . . . . . . . . . . . 128
第3 章多元函数微积分133
3.1 偏导数. . . . . . . . . . . . . . . . . 133
3.1.1 一阶偏导数. . . . . . . . . . . . 133
3.1.2 高阶偏导数. . . . . . . . . . . . 134
3.1.3 全微分. . . . . . . . . . . . . . 136
3.1.4 链式法则. . . . . . . . . . . . . 136
3.2 梯度与方向导数. . . . . . . . . . . . 138
3.2.1 梯度. . . . . . . . . . . . . . . . 138
3.2.2 方向导数. . . . . . . . . . . . . 139
3.2.3 应用——边缘检测与HOG
特征. . . . . . . . . . . . . . . . 139
3.3 黑塞矩阵. . . . . . . . . . . . . . . . 140
3.3.1 黑塞矩阵的定义与性质. . . . . 141
3.3.2 凹凸性. . . . . . . . . . . . . . 141
3.3.3 极值判别法则. . . . . . . . . . 143
3.3.4 应用——最小二乘法. . . . . . . 145
3.4 雅可比矩阵. . . . . . . . . . . . . . 146
3.4.1 雅可比矩阵的定义和性质. . . . 146
3.4.2 链式法则的矩阵形式. . . . . . 148
3.5 向量与矩阵求导. . . . . . . . . . . . 150
3.5.1 常用求导公式. . . . . . . . . . 150
3.5.2 应用——反向传播算法. . . . . 154
3.6 微分算法. . . . . . . . . . . . . . . . 156
3.6.1 符号微分. . . . . . . . . . . . . 156
3.6.2 数值微分. . . . . . . . . . . . . 157
3.6.3 自动微分. . . . . . . . . . . . . 158
3.7 泰勒公式. . . . . . . . . . . . . . . . 159
3.8 多重积分. . . . . . . . . . . . . . . . 161
3.8.1 二重积分. . . . . . . . . . . . . 161
3.8.2 三重积分. . . . . . . . . . . . . 164
3.8.3 n 重积分. . . . . . . . . . . . . 167
3.9 无穷级数. . . . . . . . . . . . . . . . 170
3.9.1 常数项级数. . . . . . . . . . . . 170
3.9.2 函数项级数. . . . . . . . . . . . 173
第4 章最优化方法176
4.1 基本概念. . . . . . . . . . . . . . . . 176
4.1.1 问题定义. . . . . . . . . . . . . 177
4.1.2 迭代法的基本思想. . . . . . . . 179
4.2 一阶优化算法. . . . . . . . . . . . . 180
4.2.1 梯度下降法. . . . . . . . . . . . 180
4.2.2 最速下降法. . . . . . . . . . . . 183
4.2.3 梯度下降法的改进. . . . . . . . 184
4.2.4 随机梯度下降法. . . . . . . . . 186
4.2.5 应用——人工神经网络. . . . . 187
4.3 二阶优化算法. . . . . . . . . . . . . 188
4.3.1 牛顿法. . . . . . . . . . . . . . 188
4.3.2 拟牛顿法. . . . . . . . . . . . . 189
4.4 分治法. . . . . . . . . . . . . . . . . 193
4.4.1 坐标下降法. . . . . . . . . . . . 193
4.4.2 SMO 算法. . . . . . . . . . . . . 194
4.4.3 分阶段优化. . . . . . . . . . . . 195
4.4.4 应用——logistic 回归. . . . . . 196
4.5 凸优化问题. . . . . . . . . . . . . . 198
4.5.1 数值优化算法面临的问题. . . . 198
4.5.2 凸集. . . . . . . . . . . . . . . . 199
4.5.3 凸优化问题及其性质. . . . . . 200
4.5.4 机器学习中的凸优化问题. . . . 201
4.6 带约束的优化问题. . . . . . . . . . 202
4.6.1 拉格朗日乘数法. . . . . . . . . 202
4.6.2 应用——线性判别分析. . . . . 204
4.6.3 拉格朗日对偶. . . . . . . . . . 205
4.6.4 KKT 条件. . . . . . . . . . . . . 208
4.6.5 应用——支持向量机. . . . . . . 209
4.7 多目标优化问题. . . . . . . . . . . . 213
4.7.1 基本概念. . . . . . . . . . . . . 213
4.7.2 求解算法. . . . . . . . . . . . . 215
4.7.3 应用——多目标神经结构搜
索. . . . . . . . . . . . . . . . . 215
4.8 泛函极值与变分法. . . . . . . . . . 216
4.8.1 泛函与变分. . . . . . . . . . . . 217
4.8.2 欧拉—拉格朗日方程. . . . . . 218
4.8.3 应用——证明两点之间直线
最短. . . . . . . . . . . . . . . . 220
4.9 目标函数的构造. . . . . . . . . . . . 221
4.9.1 有监督学习. . . . . . . . . . . . 221
4.9.2 无监督学习. . . . . . . . . . . . 224
4.9.3 强化学习. . . . . . . . . . . . . 225
第5 章概率论228
5.1 随机事件与概率. . . . . . . . . . . . 229
5.1.1 随机事件概率. . . . . . . . . . 229
5.1.2 条件概率. . . . . . . . . . . . . 233
5.1.3 全概率公式. . . . . . . . . . . . 234
5.1.4 贝叶斯公式. . . . . . . . . . . . 235
5.1.5 条件独立. . . . . . . . . . . . . 236
5.2 随机变量. . . . . . . . . . . . . . . . 236
5.2.1 离散型随机变量. . . . . . . . . 236
5.2.2 连续型随机变量. . . . . . . . . 237
5.2.3 数学期望. . . . . . . . . . . . . 240
5.2.4 方差与标准差. . . . . . . . . . 242
5.2.5 Jensen 不等式. . . . . . . . . . . 243
5.3 常用概率分布. . . . . . . . . . . . . 244
5.3.1 均匀分布. . . . . . . . . . . . . 244
5.3.2 伯努利分布. . . . . . . . . . . . 246
5.3.3 二项分布. . . . . . . . . . . . . 247
5.3.4 多项分布. . . . . . . . . . . . . 248
5.3.5 几何分布. . . . . . . . . . . . . 249
5.3.6 正态分布. . . . . . . . . . . . . 250
5.3.7 t 分布. . . . . . . . . . . . . . . 252
5.3.8 应用——颜色直方图. . . . . . . 253
5.3.9 应用——贝叶斯分类器. . . . . 254
5.4 分布变换. . . . . . . . . . . . . . . . 254
5.4.1 随机变量函数. . . . . . . . . . 254
5.4.2 逆变换采样算法. . . . . . . . . 256
5.5 随机向量. . . . . . . . . . . . . . . . 258
5.5.1 离散型随机向量. . . . . . . . . 258
5.5.2 连续型随机向量. . . . . . . . . 260
5.5.3 数学期望. . . . . . . . . . . . . 261
5.5.4 协方差. . . . . . . . . . . . . . 262
5.5.5 常用概率分布. . . . . . . . . . 265
5.5.6 分布变换. . . . . . . . . . . . . 268
5.5.7 应用——高斯混合模型. . . . . 269
5.6 极限定理. . . . . . . . . . . . . . . . 271
5.6.1 切比雪夫不等式. . . . . . . . . 271
5.6.2 大数定律. . . . . . . . . . . . . 271
5.6.3 中心极限定理. . . . . . . . . . 273
5.7 参数估计. . . . . . . . . . . . . . . . 273
5.7.1 最大似然估计. . . . . . . . . . 274
5.7.2 最大后验概率估计. . . . . . . . 276
5.7.3 贝叶斯估计. . . . . . . . . . . . 278
5.7.4 核密度估计. . . . . . . . . . . . 278
5.7.5 应用——logistic 回归. . . . . . 280
5.7.6 应用——EM 算法. . . . . . . . 282
5.7.7 应用——Mean Shift 算法. . . . 286
5.8 随机算法. . . . . . . . . . . . . . . . 288
5.8.1 基本随机数生成算法. . . . . . 288
5.8.2 遗传算法. . . . . . . . . . . . . 290
5.8.3 蒙特卡洛算法. . . . . . . . . . 293
5.9 采样算法. . . . . . . . . . . . . . . . 295
5.9.1 拒绝采样. . . . . . . . . . . . . 296
5.9.2 重要性采样. . . . . . . . . . . . 297
第6 章信息论298
6.1 熵与联合熵. . . . . . . . . . . . . . 298
6.1.1 信息量与熵. . . . . . . . . . . . 298
6.1.2 熵的性质. . . . . . . . . . . . . 300
6.1.3 应用——决策树. . . . . . . . . 302
6.1.4 联合熵. . . . . . . . . . . . . . 303
6.2 交叉熵. . . . . . . . . . . . . . . . . 305
6.2.1 交叉熵的定义. . . . . . . . . . 306
6.2.2 交叉熵的性质. . . . . . . . . . 306
6.2.3 应用——softmax 回归. . . . . . 307
6.3 Kullback-Leibler 散度. . . . . . . . . 309
6.3.1 KL 散度的定义. . . . . . . . . . 309
6.3.2 KL 散度的性质. . . . . . . . . . 311
6.3.3 与交叉熵的关系. . . . . . . . . 312
6.3.4 应用——流形降维. . . . . . . . 312
6.3.5 应用——变分推断. . . . . . . . 313
6.4 Jensen-Shannon 散度. . . . . . . . . 316
6.4.1 JS 散度的定义. . . . . . . . . . 316
6.4.2 JS 散度的性质. . . . . . . . . . 316
6.4.3 应用——生成对抗网络. . . . . 317
6.5 互信息. . . . . . . . . . . . . . . . . 320
6.5.1 互信息的定义. . . . . . . . . . 320
6.5.2 互信息的性质. . . . . . . . . . 321
6.5.3 与熵的关系. . . . . . . . . . . . 322
6.5.4 应用——特征选择. . . . . . . . 323
6.6 条件熵. . . . . . . . . . . . . . . . . 324
6.6.1 条件熵定义. . . . . . . . . . . . 324
6.6.2 条件熵的性质. . . . . . . . . . 325
6.6.3 与熵以及互信息的关系. . . . . 325
6.7 总结. . . . . . . . . . . . . . . . . . 326
第7 章随机过程328
7.1 马尔可夫过程. . . . . . . . . . . . . 328
7.1.1 马尔可夫性. . . . . . . . . . . . 329
7.1.2 马尔可夫链的基本概念. . . . . 330
7.1.3 状态的性质与分类. . . . . . . . 333
7.1.4 平稳分布与极限分布. . . . . . 337
7.1.5 细致平衡条件. . . . . . . . . . 342
7.1.6 应用——隐马尔可夫模型. . . . 343
7.1.7 应用——强化学习. . . . . . . . 345
7.2 马尔可夫链采样算法. . . . . . . . . 348
7.2.1 基本马尔可夫链采样. . . . . . 349
7.2.2 MCMC 采样算法. . . . . . . . . 349
7.2.3 Metropolis-Hastings 算法. . . . . 351
7.2.4 Gibbs 算法. . . . . . . . . . . . 353
7.3 高斯过程. . . . . . . . . . . . . . . . 355
7.3.1 高斯过程性质. . . . . . . . . . 355
7.3.2 高斯过程回归. . . . . . . . . . 355
7.3.3 应用——贝叶斯优化. . . . . . . 358
第8 章图论363
8.1 图的基本概念. . . . . . . . . . . . . 363
8.1.1 基本概念. . . . . . . . . . . . . 363
8.1.2 应用——计算图与自动微分. . . 365
8.1.3 应用——概率图模型. . . . . . . 370
8.1.4 邻接矩阵与加权度矩阵. . . . . 371
8.1.5 应用——样本集的相似度图. . . 372
8.2 若干特殊的图. . . . . . . . . . . . . 373
8.2.1 联通图. . . . . . . . . . . . . . 373
8.2.2 二部图. . . . . . . . . . . . . . 374
8.2.3 应用——受限玻尔兹曼机. . . . 374
8.2.4 有向无环图. . . . . . . . . . . . 376
8.2.5 应用——神经结构搜索. . . . . 376
8.3 重要的算法. . . . . . . . . . . . . . 380
8.3.1 遍历算法. . . . . . . . . . . . . 380
8.3.2 最短路径算法. . . . . . . . . . 381
8.3.3 拓扑排序算法. . . . . . . . . . 382
8.4 谱图理论. . . . . . . . . . . . . . . . 384
8.4.1 拉普拉斯矩阵. . . . . . . . . . 385
8.4.2 归一化拉普拉斯矩阵. . . . . . 388
8.4.3 应用——流形降维. . . . . . . . 390
· · · · · · (收起)