第一部分 綫性模型
第1章 邏輯迴歸 2
1.1 作為一個神經元的邏輯迴歸 2
1.2 基礎嚮量幾何 4
1.2.1 嚮量 4
1.2.2 嚮量的和、數乘與零嚮量 6
1.2.3 嚮量的內積、模與投影 8
1.2.4 綫性空間、基與綫性函數 11
1.2.5 直綫、超平麵與仿射函數 14
1.3 從幾何角度理解邏輯迴歸的能力和局限 17
1.4 實例：根據鳥類骨骼判斷生態類群 20
1.5 小結 24
第2章 模型評價與損失函數 25
2.1 訓練集與測試集 25
2.2 分類模型的評價 26
2.2.1 混淆矩陣 26
2.2.2 正確率 27
2.2.3 查準率 27
2.2.4 查全率 27
2.2.5 ROC麯綫 28
2.3 損失函數 29
2.3.1 K-L散度與交叉熵 29
2.3.2 最大似然估計 31
2.3.3 從幾何角度理解交叉熵損失 33
2.4 小結 35
第3章 梯度下降法 36
3.1 多元函數的微分 36
3.1.1 梯度 37
3.1.2 方嚮導數 40
3.1.3 偏導數 43
3.1.4 駐點 43
3.1.5 局部極小點 44
3.2 梯度下降法 46
3.2.1 反梯度場 47
3.2.2 梯度下降法 49
3.2.3 梯度下降法的問題 50
3.3 梯度下降法的改進 52
3.3.1 學習率調度 52
3.3.2 衝量法 54
3.3.3 AdaGrad 55
3.3.4 RMSProp 56
3.3.5 Adam 57
3.4 運用梯度下降法訓練邏輯迴歸 59
3.5 梯度下降法訓練邏輯迴歸的Python實現 61
3.6 小結 67
第4章 超越梯度下降 68
4.1 矩陣 68
4.1.1 矩陣基礎 68
4.1.2 矩陣的逆 71
4.1.3 特徵值與特徵嚮量 73
4.1.4 對稱矩陣的譜分解 74
4.1.5 奇異值分解 76
4.1.6 二次型 77
4.2 多元函數的局部二階特性 79
4.2.1 赫森矩陣 79
4.2.2 二階泰勒展開 79
4.2.3 駐點的類型 82
4.2.4 赫森矩陣的條件數 84
4.3 基於二階特性的優化 87
4.3.1 牛頓法 87
4.3.2 共軛方嚮法 92
4.4 運用牛頓法訓練邏輯迴歸 95
4.5 牛頓法訓練邏輯迴歸的Python實現 98
4.6 小結 100
第5章 正則化 102
5.1 概率論迴顧 102
5.1.1 隨機變量 102
5.1.2 多元隨機變量 105
5.1.3 多元隨機變量的期望和協方差矩陣 106
5.1.4 樣本均值和樣本協方差矩陣 106
5.1.5 主成分 108
5.1.6 正態分布 111
5.2 模型自由度與偏置?方差權衡 115
5.2.1 最小二乘綫性迴歸 116
5.2.2 模型自由度 118
5.2.3 偏置?方差權衡 119
5.3 正則化 122
5.3.1 嶺迴歸與L_2正則化 122
5.3.2 L_2正則化的貝葉斯視角 125
5.3.3 L_1正則化 126
5.4 過擬閤與欠擬閤 127
5.5 運用L_2正則化訓練邏輯迴歸 130
5.6 運用L_2正則化訓練邏輯迴歸的Python實現 132
5.7 小結 135
第二部分 神經網絡
第6章 神經網絡 138
6.1 閤作的神經元 138
6.2 多層全連接神經網絡 142
6.3 激活函數 145
6.3.1 Linear 145
6.3.2 Logistic 146
6.3.3 Tanh 148
6.3.4 ReLU 150
6.3.5 Leaky ReLU以及PReLU 151
6.3.6 SoftPlus 153
6.4 多分類與SoftMax 154
6.5 小結 157
第7章 反嚮傳播 158
7.1 映射 158
7.1.1 仿射映射 158
7.1.2 雅可比矩陣 159
7.1.3 鏈式法則 160
7.2 反嚮傳播 162
7.2.1 網絡的符號錶示 162
7.2.2 原理 163
7.2.3 實現 166
7.3 相關問題 169
7.3.1 計算量 169
7.3.2 梯度消失 170
7.3.3 正則化 170
7.3.4 權值初始化 170
7.3.5 提前停止 171
7.4 多層全連接神經網絡的Python實現 173
7.5 小結 181
第8章 計算圖 183
8.1 計算圖模型 183
8.1.1 簡介 183
8.1.2 多層全連接神經網絡的計算圖 187
8.1.3 其他神經網絡結構的計算圖 188
8.2 自動求導 190
8.3 自動求導的實現 192
8.4 計算圖的Python實現 195
8.5 小結 214
第9章 捲積神經網絡 215
9.1 捲積 215
9.1.1 一元函數的捲積 215
9.1.2 多元函數的捲積 219
9.1.3 濾波器 223
9.2 捲積神經網絡的組件 228
9.2.1 捲積層 228
9.2.2 激活層 230
9.2.3 池化層 231
9.2.4 全連接層 233
9.2.5 跳躍連接 234
9.3 深度學習的正則化方法 236
9.3.1 權值衰減 236
9.3.2 Dropout 237
9.3.3 權值初始化 237
9.3.4 批標準化 238
9.3.5 數據增強 239
9.4 小結 239
第10章 經典CNN 241
10.1 LeNet-5 241
10.2 AlexNet 245
10.3 VGGNet 248
10.4 GoogLeNet 251
10.5 ResNet 255
10.6 小結 257
第11章 TensorFlow實例 258
11.1 多分類邏輯迴歸 258
11.2 多層全連接神經網絡 266
11.3 LeNet-5 269
11.4 AlexNet 273
11.5 VGG16 277
11.6 小結 280
附錄A CNN與元胞自動機 281
參考文獻 311
· · · · · · (
收起)
