Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization¶
拟合¶
过拟合：比如训练集误差小于验证集误差，是因为模型在训练集上过拟合
高方差 (high variance)：训练集误差与验证集误差差距较大
欠拟合：
高偏差 (High bias)：训练集误差与验证集误差都比较大
适度拟合：具有低方差和低偏差
基础误差 (Basic error)：也称为最优误差，如果基础误差较大，对于模型来说方差和偏差也会变得相对较低。
- 比如分类的图像很模糊时
正则化¶
dropout 随机失活¶
针对每个样本：
遍历网络的每一层，设置消除神经网络中节点的概率，会随机消除一些节点，会得到一个节点更少规模更小的网络
最后更新:
2023-08-16
创建日期: 2023-08-16
作者:
创建日期: 2023-08-16
作者: