实践层面

在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如：

• 神经网络分多少层
• 每层含有多少个隐藏单元
• 学习速率是多少
• 各层采用哪些激活函数

创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数。实际上，应用型机器学习是一个 高度迭代 的过程，通常在项目启动时：

1. 会先有一个初步想法

   比如构建一个含有特定层数，隐藏单元数量或数据集个数等等的神经网络
   

2. 然后编码，并尝试运行这些代码
3. 通过运行和测试得到该神经网络或这些配置信息的运行结果，可能会根据输出结果重新完善自己的想法，改变策略，或者为了找到更好的神经网络不断迭代更新自己的方案。

现如今，深度学习已经在自然语言处理，计算机视觉，语音识别以及结构化数据应用等众多领域取得巨大成功。结构化数据无所不包，从广告到网络搜索

其中网络搜索不仅包括网络搜索引擎，还包括购物网站，从所有根据搜索栏词条传输结果的网站

再到计算机安全，物流，比如判断司机去哪接送货，范围之广，不胜枚举

从一个领域或者应用领域得来的直觉经验，通常无法转移到其他应用领域，最佳决策取决于所 拥有的数据量 ，计算机配置中 输入特征的数量 ，用 GPU 训练还是 CPU ，GPU和CPU的具体配置以及其他诸多因素

目前为止，对于很多应用系统，即使是经验丰富的深度学习行家也不太可能一开始就预设出最匹配的超级参数，所以说，应用深度学习是一个典型的 迭代 过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络，因此 循环该过程的效率 是决定项目进展速度的一个关键因素，而创建 高质量 的 训练数据集 ， 验证集 和 测试集 也有助于提高循环效率

假设这是 训练数据 ，用一个 长方形 表示，通常会将这些数据划分成几部分，一部分作为 训练集 ，一部分作为简单交叉验证集，有时也称之为 验证集 ，最后一部分则作为 测试集

接下来开始对训练执行算法，通过验证集或简单交叉验证集选择最好的模型，经过充分验证，选定了最终模型，然后就可以在测试集上进行评估了，为了无偏评估算法的运行状况

• 在机器学习发展的 小数据量 时代，常见做法是将所有数据三七分，就是人们常说的 70%验证集 ， 30%测试集

• 如果没有明确设置验证集，也可以按照 60%训练 ， 20%验证 和 20%测试集 来划分

  这是前几年机器学习领域普遍认可的最好的实践方法
  

如果只有100条，1000条或者1万条数据，那么上述比例划分是非常合理的

但是在大数据时代，现在的数据量可能是百万级别，那么验证集和测试集占数据总量的比例会趋向于变得更小。因为验证集的目的就是验证不同的算法，检验哪种算法更有效，因此，验证集要足够大才能评估，比如2个甚至10个不同算法，并迅速判断出哪种算法更有效。可能不需要拿出20%的数据作为验证集

比如有100万条数据，那么取1万条数据便足以进行评估，找出其中表现最好的1-2种算法

同样地，根据最终选择的分类器，测试集的主要目的是正确评估分类器的性能

所以，如果拥有百万数据，只需要1000条数据，便足以评估单个分类器，并且准确评估该分类器的性能

假设有100万条数据，其中1万条作为验证集，1万条作为测试集，100万里取1万，比例是1%，即：训练集占98%，验证集和测试集各占1%

对于数据量过百万的应用，训练集可以占到99.5%，验证和测试集各占0.25%，或者验证集占0.4%，测试集占0.1%

总结一下：

• 在机器学习中，通常将样本分成训练集，验证集和测试集三部分
• 数据集规模相对较小，适用传统的划分比例
• 数据集规模较大的，验证集和测试集要小于数据总量的20%或10%

后面会给出如何划分验证集和测试集的具体指导

现代深度学习的另一个趋势是越来越多的人在 训练 和 测试集 分布不匹配 的情况下进行训练

假设要构建一个用户可以上传大量图片的应用程序，目的是找出并呈现所有猫咪图片

可能用户都是爱猫人士，训练集可能是从网上下载的猫咪图片

而验证集和测试集是用户在这个应用上上传的猫的图片

就是说，训练集可能是从网络上抓下来的图片。而验证集和测试集是用户上传的图片

结果许多网页上的猫咪图片分辨率很高，很专业，后期制作精良

而用户上传的照片可能是用手机随意拍摄的，像素低，比较模糊，这两类数据有所不同'

针对这种情况，根据经验，建议大家要确保验证集和测试集的数据来自同一分布

要用验证集来评估不同的模型，尽可能地优化性能。如果验证集和测试集来自同一个分布就会很好

但由于深度学习算法需要大量的训练数据，为了获取更大规模的训练数据集，可以采用当前流行的各种创意策略

例如，网页抓取，代价就是训练集数据与验证集和测试集数据有可能不是来自同一分布

但只要遵循这个经验法则，就会发现机器学习算法会变得更快

最后一点，就算没有测试集也不要紧，测试集的目的是对最终所选定的神经网络系统做出无偏估计，如果不需要无偏估计，也可以不设置测试集。所以如果只有验证集，没有测试集，我们要做的就是，在训练集上训练，尝试不同的模型框架，在验证集上评估这些模型，然后迭代并选出适用的模型。因为验证集中已经涵盖测试集数据，其不再提供无偏性能评估。当然，如果你不需要无偏估计，那就再好不过了

在机器学习中，如果只有一个训练集和一个验证集，而没有独立的测试集，遇到这种情况，训练集还被人们称为训练集，而验证集则被称为测试集，不过在实际应用中，人们只是把测试集当成简单交叉验证集使用，并没有完全实现该术语的功能，因为他们把验证集数据过度拟合到了测试集中

如果某团队跟你说他们只设置了一个训练集和一个测试集，需要很谨慎

是不是真的有训练验证集，因为他们把验证集数据过度拟合到了测试集中

让这些团队改变叫法，改称其为“训练验证集”，而不是“训练测试集”，可能不太容易

即便认为“训练验证集“在专业用词上更准确

实际上，如果不需要无偏评估算法性能，那么这样是可以的

搭建训练验证集和测试集能够加速神经网络的集成，也可以更有效地衡量算法地偏差和方差

从而帮助更高效地选择合适方法来优化算法

几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精

即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现

关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，

可能听说过这两个概念，但深度学习的误差很少权衡二者，总是分别考虑偏差和方差，却很少谈及偏差和方差的权衡问题

假设这就是数据集：

• 如果给这个数据集拟合一条直线，可能得到一个逻辑回归拟合，但它并不能很好地拟合该数据，这是 高偏差 high bias 的情况，称为 欠拟合 underfitting

• 相反的如果拟合一个非常复杂的分类器，但这看起来也不是一种很好的拟合方式分类器 方差较高 high variance ，数据 过度拟合 overfitting

  比如深度神经网络或含有隐藏单元的神经网络，可能就非常适用于这个数据集
  

• 在两者之间，可能还有一些像图中这样的，复杂程度适中，数据拟合适度的分类器，这个数据拟合看起来更加合理，称之为 适度拟合 just right 是介于过度拟合和欠拟合中间的一类

在这样一个只有 \(x_1\) 和 \(x_2\) 两个特征的二维数据集中，可以绘制数据，将偏差和方差可视化。在多维空间数据中，绘制数据和可视化分割边界无法实现，但可以通过几个指标，来研究偏差和方差

沿用猫咪图片分类这个例子，左边一张是猫咪图片，右边一张不是。理解偏差和方差的两个关键数据是 训练集误差 Train set error 和 验证集误差 Dev set error

为了方便论证，假设可以辨别图片中的小猫，用肉眼识别几乎是不会出错的

假定训练集误差是1%，为了方便论证，假定验证集误差是11%，可以看出训练集设置得非常好，而验证集设置相对较差，可能过度拟合了训练集，在某种程度上，验证集并没有充分利用交叉验证集的作用，像这种情况，称之为 高方差

通过查看训练集误差和验证集误差，便可以诊断算法是否具有高方差

也就是说衡量训练集和验证集误差就可以得出不同结论

假设训练集误差是15%，把训练集误差写在首行，验证集误差是16%，假设该案例中人的错误率几乎为0%，人们浏览这些图片，分辨出是不是猫。算法并没有在训练集中得到很好训练，如果训练数据的拟合度不高，就是数据欠拟合，就可以说这种算法 偏差比较高 。相反，它对于验证集产生的结果却是合理的，验证集中的错误率只比训练集的多了1%，所以这种算法偏差高，因为它甚至不能拟合训练集

再举一个例子，训练集误差是15%，偏差相当高，但是，验证集的评估结果更糟糕，错误率达到30%，在这种情况下，我会认为这种算法偏差高，因为它在训练集上结果不理想，而且方差也很高，这是 方差偏差都很糟糕 的情况。

最后一个例子，训练集误差是0.5%，验证集误差是1%，用户看到这样的结果会很开心，猫咪分类器只有1%的错误率， 偏差和方差都很低

这些分析都是基于假设预测的，假设人眼辨别的错误率接近0%

一般来说，最优误差也被称为贝叶斯误差，所以，最优误差接近0%

如果最优误差或贝叶斯误差非常高，比如15%。再看看这个分类器（训练误差15%，验证误差16%），15%的错误率对训练集来说也是非常合理的，偏差不高，方差也非常低

当所有分类器都不适用时，如何分析偏差和方差呢？

比如，图片很模糊，即使是人眼，或者没有系统可以准确无误地识别图片

在这种情况下，最优误差会更高，那么分析过程就要做些改变了：

• 重点是通过查看训练集误差，可以判断数据拟合情况，至少对于训练数据是这样，可以判断是否有偏差问题，然后查看错误率有多高
• 当完成训练集训练，开始使用验证集验证时，可以判断方差是否过高，从训练集到验证集的这个过程中，可以判断方差是否过高

以上分析的前提都是假设基本误差很小，训练集和验证集数据来自相同分布

如果没有这些假设作为前提，分析过程更加复杂，接下来将会讨论

偏差和方差都高是什么样子呢？这种情况对于两个衡量标准来说都是非常糟糕的

这样的分类器，会产生高偏差，因为它的数据拟合度低，像这种接近线性的分类器，数据拟合度低

但是如果稍微改变一下分类器，这里用紫色笔画出，它会过度拟合部分数据，用紫色线画出的分类器具有高偏差和高方差，偏差高是因为它几乎是一条线性分类器，并未拟合数据

这种二次曲线能够很好地拟合数据：

这条曲线中间部分灵活性非常高，却过度拟合了这两个样本，这类分类器偏差很高，因为它几乎是线性的

而采用曲线函数或二次元函数会产生高方差，因为它曲线灵活性太高以致拟合了这两个错误样本和中间这些活跃数据

这看起来有些不自然，从两个维度上看都不太自然

但对于高维数据，有些数据区域偏差高，有些数据区域方差高

所以在高维数据中采用这种分类器看起来就不会那么牵强了

总结一下：

• 如何通过分析在训练集上训练算法产生的误差和验证集上验证算法产生的误差来诊断算法是否存在高偏差和高方差，是否两个值都高，或者两个值都不高
• 根据算法偏差和方差的具体情况决定接下来你要做的工作

接下来会根据算法偏差和方差的高低情况讲解一些机器学习的基本方法，更系统地优化算法

下图就是在训练神经网络用到的基本方法：

初始模型训练完成后，首先要知道算法的 偏差高不高 ：

• 如果偏差较高，试着评估训练集或训练数据的性能
• 如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络：
  • 比如含有更多隐藏层或者隐藏单元的网络
  • 或者花费更多时间来训练网络
  • 或者尝试更先进的优化算法

以后会看到许多不同的神经网络架构，或许能找到一个更合适解决此问题的新的网络架构

必须去尝试，可能有用，也可能没用。不过采用规模更大的网络通常都会有所帮助

延长训练时间不一定有用，但也没什么坏处

直到解决掉偏差问题，这是最低标准，反复尝试，至少能够拟合训练集 

如果网络足够大，通常可以很好的拟合训练集，只要能扩大网络规模，如果图片很模糊，算法可能无法拟合该图片，但如果有人可以分辨出图片，如果觉得基本误差不是很高，那么训练一个更大的网络，就应该可以，至少可以很好地拟合训练集或者过拟合训练集。一旦偏差降低到可以接受的数值，检查一下 方差有没有问题 ，为了评估方差，要查看验证集性能，从一个性能理想的训练集推断出验证集的性能是否也理想，如果方差高：

• 最好的解决办法就是 采用更多数据 ，如果能做到，会有一定的帮助
• 但有时候，无法获得更多数据，也可以尝试通过 正则化 来减少过拟合

如果能找到更合适的神经网络框架，有时它可能会一箭双雕，同时减少方差和偏差

如何实现呢？想系统地说出做法很难

总之就是不断重复尝试，直到找到一个低偏差，低方差的框架，这时就成功了

有两点需要大家注意：

1. 高偏差和高方差是两种不同的情况，后续要尝试的方法也可能完全不同，通常会用训练验证集来诊断算法是否存在偏差或方差问题，然后根据结果选择尝试部分方法

   举个例子，如果算法存在高偏差问题，准备更多训练数据其实也没什么用处，至少这不是更有效的方法
   
   所以大家要清楚存在的问题是偏差还是方差，还是两者都有问题，明确这一点有助于选择出最有效的方法
   

2. 在机器学习的初期阶段，关于所谓的偏差方差权衡的讨论屡见不鲜，原因是能尝试的方法有很多。可以增加偏差，减少方差，也可以减少偏差，增加方差，但是在深度学习的早期阶段，我们没有太多工具可以做到只减少偏差或方差却不影响到另一方。但在当前的深度学习和大数据时代，只要持续训练一个更大的网络，只要准备了更多数据，那么也并非只有这两种情况

   假定只要正则适度，通常构建一个更大的网络便可以，在不影响方差的同时减少偏差
   
   而采用更多数据通常可以在不过多影响偏差的同时减少方差
   
   现在有工具可以做到在减少偏差或方差的同时，不对另一方产生过多不良影响
   
   这就是深度学习对监督式学习大有裨益的一个重要原因，也是不用太过关注如何平衡偏差和方差的一个重要原因
   
   但有时有很多选择，减少偏差或方差而不增加另一方。最终，会得到一个非常规范化的网络
   

深度学习可能存在 过拟合 问题 高方差 ，有两个解决方法：

• 正则化
• 准备更多的数据

如果怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化

另一个解决高方差的方法就是准备更多数据，这也是非常可靠的办法

但可能无法时时准备足够多的训练数据，或者，获取更多数据的成本很高

而正则化有助于避免过度拟合，或者减少网络误差

训练神经网络，其中一个加速训练的方法就是 归一化输入 。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：

1. 零均值
2. 归一化方差

希望无论是训练集和测试集都是通过相同的 \(\mu\) 和 \(\sigma^2\) 定义的数据转换，这两个是由训练集得出来的

第一步是零均值化： \(\mu = \frac{1}{m}\sum_{i=1}^{m}x^{(i)}\) ，它是一个向量， \(x\) 等于每个训练数据 \(x\) 减去 \(\mu\) ，意思是移动训练集，直到它完成零均值化

第二步是归一化方差，注意特征 \(x_1\) 的方差比特征 \(x_2\) 的方差要大得多，要做的是给 \(\sigma\) 赋值， \(\sigma^{2} = \frac{1}{m}\sum_{i=1}^{m}(x^{(i)})^{2}\) ，这是节点 \(y\) 的平方，\(\sigma^2\) 也是一个向量，它的每个特征都有方差，注意，之前也已经完成零值均化， \((x^{(i)})^2\) 元素 \(y^2\) 就是方差，把所有数据除以向量 \(\sigma^2\) ，最后变成上图形式

\(x_1\) 和 \(x_2\) 的方差都等于1。如果用它来调整训练数据，那么用相同的 \(\mu\) 和 \(\sigma^2\) 来归一化测试集。尤其是，不希望训练集和测试集的归一化有所不同，不论 \(\sigma^2\) 的值是什么，也不论 \(\mu\) 的值是什么，这两个公式中都会用到它们。所以要用同样的方法调整测试集，而不是在训练集和测试集上分别预估 \(\mu\) 和 \(\sigma^2\) 。因此希望不论是训练数据还是测试数据，都是通过相同 \(\mu\) 和 \(\sigma^2\) 定义的相同数据转换，其中 \(\mu\) 和 \(\sigma^2\) 是由训练集数据计算得来的

为什么我们想要归一化输入特征？

如果使用非归一化的输入特征，代价函数会像这样：

这些数据轴应该是 \(w_1\) 和 \(w_2\) ，但为了直观理解，这里标记为 \(w\) 和 \(b\) ，代价函数就有点像狭长的碗一样，如果能画出该函数的部分轮廓，这是一个非常细长狭窄的代价函数，要找的最小值应该在这里。但如果特征值在不同范围，假如 \(x_1\) 取值范围从1到1000， 特征 \(x_2\) 的取值范围从0到1，结果是参数 \(w_1\) 和 \(w_2\) 值的范围或比率将会非常不同

然而如果归一化特征，代价函数平均起来看更对称，如果在上图这样的代价函数上运行梯度下降法，必须使用一个非常小的学习率。因为如果是在这个位置，梯度下降法可能需要多次迭代过程，直到最后找到最小值。但如果函数是一个更圆的球形轮廓，那么不论从哪个位置开始，梯度下降法都能够更直接地找到最小值，可以在梯度下降法中使用较大步长，而不需要像在左图中那样反复执行

当然，实际上 w 是一个高维向量，因此用二维绘制 w 并不能正确地传达并直观理解

但总地直观理解是代价函数会更圆一些，而且更容易优化

前提是特征都在相似范围内，而不是从1到1000，0到1的范围，而是在-1到1范围内或相似偏差，这使得代价函数优化起来更简单快速

实际上如果假设特征\(x_1\) 范围在0-1之间， \(x_2\) 的范围在-1到1之间，\(x_3\) 范围在1-2之间，它们是相似范围，所以会表现得很好

当它们在非常不同的取值范围内，如其中一个从1到1000，另一个从0到1，这对优化算法非常不利。但是仅将它们设置为均化零值，假设方差为1，就像上一张幻灯片里设定的那样，确保所有特征都在相似范围内，通常可以帮助学习算法运行得更快

所以如果输入特征处于不同范围内，可能有些特征值从0到1，有些从1到1000，那么归一化特征值就非常重要了

如果特征值处于相似范围内，那么归一化就不是很重要了。但执行这类归一化并不会产生什么危害

通常会做归一化处理，虽然我不确定它能否提高训练或算法速度

训练神经网络，尤其是深度神经所面临的一个问题就是 梯度消失 或 梯度爆炸 ，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度

接下来将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重

假设正在训练这样一个极深的神经网络，为了节约幻灯片上的空间，画的神经网络每层只有两个隐藏单元，但它可能含有更多：

1. 这个神经网络会有参数 \(W^{[1]}\) ，\(W^{[2]}\) ， \(W^{[3]}\) 等等，直到 \(W^{[L]}\)
2. 为了简单起见，假设使用激活函数 \(g(z) = z\) ，也就是线性激活函数
3. 忽略 \(b\) ，假设 \(b^{[l]}=0\)

如果那样的话，输出 \(y = W^{[L]}W^{[L-1]}W^{[L-2]} \cdots W^{[3]}W^{[2]}W^{[1]}x\)

所有这些矩阵数据传递的协议将给出预测值而不是样本的实际值y

假设每个权重矩阵 \(W^{[l]} = \begin{bmatrix} 1.5 & 0 \\ 0 & 1.5 \end{bmatrix}\)

从技术上来讲，最后一项有不同维度，可能它就是余下的权重矩阵

因为假设所有矩阵都相同，它是1.5倍的单位矩阵，最后的计算结果就是 \(\hat{y}\) ，也就是等于 \(1.5^{(L-1)}x\) 。如果对于一个深度神经网络来说 \(L\) 值较大，那么 \(\hat{y}\) 的值也会非常大，实际上它呈指数级增长的，它增长的比率是 \(1.5^L\) ，因此对于一个深度神经网络，\(\hat{y}\) 的值将爆炸式增长

相反的，如果权重是0.5， \(W^{[l]} = \begin{bmatrix} 0.5 & 0 \\ 0 & 0.5 \end{bmatrix}\) ，它比1小，这项也就变成了 \(0.5^L\) ，矩阵 \(\hat{y} = W^{[1]} \begin{bmatrix} 0.5 & 0 \\ 0 & 0.5 \end{bmatrix}^{(L-1)}x\) ，再次忽略 \(W^{[L]}\) ，因此每个矩阵都小于1，假设 \(x_1\) 和 \(x_2\) 都是1，激活函数将变成 \(\frac{1}{2}\) ，\(\frac{1}{2}\) ，\(\frac{1}{4}\) ，\(\frac{1}{4}\) ，\(\frac{1}{8}\) ， \(\frac{1}{8}\) 等，直到最后一项变成 \(\frac{1}{2^L}\) ，所以作为自定义函数，激活函数的值将以指数级下降，它是与网络层数数量相关 \(L\) 的函数，在深度网络中，激活函数以指数级递减

直观理解是， W 权重只比 1 略大一点，或者说只是比单位矩阵大一点，深度神经网络的激活函数将爆炸式增长

反之如果 W 比1略小一点，在深度神经网络中，激活函数将以指数级递减

虽然只是讨论了激活函数以与 L 相关的指数级数增长或下降，它也适用于与层数 L 相关的导数或梯度函数，也是呈指数级增长或呈指数递减

对于当前的神经网络，假设 \(L=150\) 在这样一个深度神经网络中，如果激活函数或梯度函数以与相关的指数增长或递减，它们的值将会变得极大或极小，从而导致训练难度上升，尤其是梯度指数小于时，梯度下降算法的步长会非常非常小，梯度下降算法将花费很长时间来学习

实际上，在很长一段时间内，它曾是训练深度神经网络的阻力

虽然有一个不能彻底解决此问题的解决方案，但是已在如何选择初始化权重问题上提供了很多帮助

前面学习了深度神经网络如何产生梯度消失和梯度爆炸问题

最终针对该问题，有一个不完整的解决方案

虽然不能彻底解决问题，却很有用，有助于为神经网络更谨慎地选择随机初始化参数

为了更好地理解它，先举一个神经单元初始化地例子，然后再演变到整个深度网络

来看看只有一个神经元的情况，单个神经元可能有4个输入特征，从 \(x_1\) 到 \(x_4\) ，经过 \(a = g(z)\) 处理，最终得到 \(\hat{y}\) ，在深度网络时，这些输入表示为 \(a^{[0]}\) ，暂时用 \(x\) 表示。 \(z=w_1x_1 + w_2x_2 + \cdots + w_nx_n, b = 0\) 暂时忽略 \(b\)

为了预防值 \(z\) 过大或过小，如果 \(n\) 越大，则希望 \(w_i\) 越小，因为 \(z\) 是 \(w_ix_i\) 的和，如果把很多此类项相加，希望每项值更小，最合理的方法就是设置 \(w_i = \frac{1}{n}\) ，\(n\) 表示神经元的输入特征数量

对于深度网络实际上，要做的就是设置某层权重矩阵 \(w^{[l]} = np.random.randn(shape) \cdot np.sqrt(\frac{1}{n^{[l-1]}})\) ， \(n^{[l-1]}\) 就是喂给第 \(l\) 层神经单元的数量（即第 \(l-1\) 层神经元数量）

如果用的是 \(Relu\) 激活函数，而不是 \(\frac{1}{n}\) ，方差设置为 \(\frac{2}{n}\) ，效果会更好。初始化时，尤其是使用Relu激活函数时 \(g^{[l]}(z) = Relu(z)\) ,它取决于你对随机变量的熟悉程度，这是高斯随机变量，然后乘以它的平方根，也就是引用这个方差 \(\frac{2}{n}\) 。这里，用的是 \(n^{[l-1]}\) ，因为本例中，逻辑回归的特征是不变的。但一般情况下 \(l\) 层上的每个神经元都有 \(n^{[l-1]}\) 个输入

如果激活函数的输入特征被零均值和标准方差化，方差是1， z 也会调整到相似范围，这就没解决问题（梯度消失和爆炸问题）

但它确实降低了梯度消失和爆炸问题，因为它给权重矩阵设置了合理值，它不能比1大很多，也不能比1小很多，所以梯度没有爆炸或消失过快

对于几个其它变体函数，如 \(tanh\) 激活函数，有篇论文提到，常量 \(1\) 比常量 \(2\) 的效率更高，对于 \(tanh\) 函数来说，它是 \(\sqrt{\frac{1}{n^{[l-1]}}}\) ，这里平方根的作用与这个公式 \(np.sqrt(\frac{1}{n^{[l-1]}})\) 作用相同，它适用于 \(tanh\) 激活函数，被称为 \(Xavier\) 初始化。Yoshua Bengio和他的同事还提出另一种方法，它们使用的是公式 \(\sqrt{\frac{2}{n^{[l-1]}+n^{[l]}}}\)

实际上，所有这些公式只是给了一个起点，它们给出初始化权重矩阵的方差的默认值，如果想添加方差，方差参数则是另一个需要调整的超级参数，可以给公式 \(np.sqrt(\frac{2}{n^{[l-1]}})\) 添加一个乘数参数来进行调优

有时调优该超级参数效果一般，这并不是想调优的首要超级参数

虽然调优该参数能起到一定作用，但考虑到相比其它超级参数的重要性，通常把它的优先级放得比较低

总结：

• 如果想用Relu激活函数，也就是最常用的激活函数，可以使用 \(\sqrt{\frac{2}{n^{[l-1]}}}\)
• 如果使用tanh函数，可以用公式 \(\sqrt{\frac{1}{n^{[l-1]}}}\)

在实施 \(backprop\) 时，有一个测试叫做 梯度检验 ，它的作用是确保 \(backprop\) 正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行 \(backprop\) 的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近：

先画出函数 \(f\) ，标记为 \(f(\theta)\) ， \(f(\theta) = \theta^3\) ，先看一下 \(\theta\) 的值，假设 \(\theta = 1\) ，不增大 \(\theta\) 的值，而是在\(\theta\) 右侧，设置一个 \(\theta + \epsilon\) ，在 \(\theta\) 左侧，设置 \(\theta - \epsilon\) 。因此 \(\theta = 1\) ， \(\theta + \epsilon = 1.01\) , \(\theta - \epsilon = 0.99\) ，跟以前一样， \(\epsilon\) 的值为0.01，看下这个小三角形，计算高和宽的比值，就是更准确的梯度预估，选择函数 \(f\) 在 \(\theta - \epsilon\) 上的这个点，用这个较大三角形的高比上宽，技术上的原因我就不详细解释了，较大三角形的高宽比值更接近于 \(\theta\) 的导数，把右上角的三角形下移，好像有了两个三角形，右上角有一个，左下角有一个，通过这个绿色大三角形同时考虑了这两个小三角形。所以得到的不是一个单边公差而是一个双边公差

图中绿色三角形上边的点的值是 \(f(\theta + \epsilon)\) ，下边的点是 \(f(\theta - \epsilon)\) ，所以这个三角形的高度是 \(f(\theta + \epsilon) - f(\theta - \epsilon)\) ，这两个宽度都是 \(\epsilon\) ，所以三角形的宽度是 \(2\epsilon\) ，高宽比值为 \(\frac{f(\theta + \epsilon) - f(\theta - \epsilon)}{2\epsilon}\) ，它的期望值接近 \(g(\theta)\) ， \(f(\theta) = \theta^3\) 传入参数值 \(\frac{f(\theta + \epsilon) - f(\theta - \epsilon)}{2\epsilon} = \frac{1.01^3 - 0.99^3}{2 \cdot 0.01}\) ，结果应该是3.0001 。根据推导当 \(\theta = 1\) 时 ， \(g(\theta) = 3\theta^2 = 3\) ，所以这两个值非常接近，逼近误差为0.0001。如果只考虑了单边公差，即从 \(\theta\) 到 \(\theta + \epsilon\) 之间的误差，\(g(\theta)\) 的值为3.0301，逼近误差是0.03，不是0.0001，所以使用双边误差的方法更逼近导数，其结果接近于3，因此现在更加确信，\(g(\theta)\) 可能是 \(f\) 导数的正确实现

在梯度检验和反向传播中使用该方法时，最终，它与运行两次单边公差的速度一样

实际上，这种方法还是非常值得使用的，因为它的结果更准确

对于一个非零的 \(\epsilon\) ，它的逼近误差可以写成 \(O(\epsilon^2)\) ，\(\epsilon\) 值非常小 ，如果 \(\epsilon = 0.01\) ， \(\epsilon^2 = 0.0001\) ，大写符号 \(O\) 的含义是指逼近误差其实是一些常量乘以 \(\epsilon^2\) ，但它的确是很准确的逼近误差，所以大写的 \(O\) 常量有时是 \(1\) 。然而，如果用另外一个公式逼近误差就是 \(O(\epsilon)\) ，当 \(\epsilon\) 小于 \(1\) 时，实际 \(\epsilon\) 上比 \(\epsilon^2\) 大很多，所以这个公式近似值远没有左边公式的准确，所以在执行梯度检验时，使用双边误差，即 \(\frac{f(\theta + \epsilon) - f(\theta - \epsilon)}{2\epsilon}\) ，而不使用单边公差，因为它不够准确

如果不理解上面两条结论，所有公式都在这儿，不用担心

如果对微积分和数值逼近有所了解，这些信息已经足够多了

重点是要记住，双边误差公式的结果更准确

回顾一下，这一章讲了：

1. 如何配置 训练集 ， 验证集 和 测试集
2. 如何分析 偏差 和 方差 ，如何处理高偏差或高方差以及高偏差和高方差并存的问题
3. 如何在神经网络中应用不同形式的 正则化 ，如正则化和 \(dropout\)
4. 还有加快神经网络训练速度的技巧，比如 输入归一化
5. 最后是 梯度检验