微信网站方案上海自动化仪表厂

微信网站方案,上海自动化仪表厂,公司建立网站的费用如何做帐,wordpress 伪静态 win础后#xff0c;可以说#xff0c;在理解上对本周的内容不会存在什么难度。当然#xff0c;我也会对一些新出现的概念补充一些基础内容来帮助理解#xff0c;在有之前基础的情况下#xff0c;按部就班即可对本周内容有较好的掌握。在学习完一些缓解过拟合的方法后#xf…础后可以说在理解上对本周的内容不会存在什么难度。当然我也会对一些新出现的概念补充一些基础内容来帮助理解在有之前基础的情况下按部就班即可对本周内容有较好的掌握。在学习完一些缓解过拟合的方法后我们便可以较好的训练神经网络而不至于出现因为模型复杂度上升反而导致模型性能下降的情况。这样神经网络就可以较好的拟合数据。而这一部分的内容就是在这个基础上如何加快神经网络的训练实现更快更稳定地收敛。1.归一化还是先把概念摆出来:归一化Normalization是指将数据按一定的比例或标准进行调整使得数据的数值范围或分布符合某种特定的要求。通常归一化的目标是将数据转化为统一的尺度便于不同数据之间的比较或用于某些算法中。要提前说明的是下面的笔记内容介绍的只是归一化方法中最普适的一种叫Z-Score标准化标准差标准化也可以直接叫标准化。1.1 标准化的步骤1计算样本的均值对每一维特征计算其均值。我们用一组数据在每一步进行相应处理来演示这个完整的过程原始样本样本数2计算每个样本与均值的差以及平方差样本10 -2 412 0 09 -3 915 3 914 2 43计算方差与标准差总体方差分母使用总体标准差4执行标准化变换每个样本的标准化结果逐项计算10 -2 -0.87705812 0 0.0000009 -3 -1.31558715 3 1.31558714 2 0.877058因此标准化后的结果为这样我们就对数据完成了一次标准化那进行这些步骤的作用又是什么呢1.2标准化的作用我们来看一下各个步骤后样本数据的变化myplot213213这是未经处理的原始数据现在我们按照标准化公式一步步进行将各数据减去均值这一步也叫做中心化此时数据分布如下myplot3213123可以发现中心化后数据的均值变为 0现在我们再把中心化的数据除以标准差此时数据分布如下44经过这一步标准化后数据的标准差为 1也就是说标准化后数据的均值变为0标准差变为1这是它的作用可这样的变换又是如何帮助训练的呢我们继续下一节。1.3 标准化如何帮助训练1消除量纲差距的同时保持特征信息在现实数据中不同特征往往有不同的单位或数量级。例如在一个房价预测模型中房屋面积以“平方米”计数值可能在几十到几百房间数量只在“1~5”之间变化。如果不做标准化面积特征的值远大于房间数模型在更新参数时会更偏向面积而忽视房间数量的影响。对此标准化这样解决这个问题中心化将每个特征的均值移动到 0使数据以 0 为中心正负对称方便神经网络处理。除以标准差标准差就像一个“伸缩尺”根据特征自身的波动范围对数据进行拉伸或压缩波动大的特征被压缩幅度大波动小的特征被压缩幅度小从而统一特征尺度。要说明的是除以标准差精妙的地方在于统一尺度的同时保留了同一特征内的差距。举个例子对于两个人的年龄一个人20岁一个人10岁。压缩后前一个人变成了2岁后一个人变成了1岁。但是他们之间的差别关系没有变化前者仍比后者大我们只是把跨度从10岁缩小从了1岁来减少波动性。模型依旧可以区分两个样本的差别。我们再用房屋的实例说明来整体演示一下设房屋面积原始值[50, 120, 200, 300, 400] 房间数原始值[1, 2, 3, 4, 5]中心化后面积[−167, −97, −17, 83, 183]房间数[−2, −1, 0, 1, 2]除以标准差面积 σ≈145.44房间数 σ≈1.414后 面积标准化[−1.15, −0.67, −0.12, 0.57, 1.26] 房间数标准化[−1.41, −0.71, 0, 0.71, 1.41]这样通过标准化面积和房间数都被缩放到大致相似的范围梯度更新时影响力平衡同时保持了各房屋之间的相对差异。可以形象地理解为每个特征都被配上了“统一的尺子”让它们在同一尺度下公平竞争既消除了量纲差距又保持原始信息。2平衡含正负值的数据集标准化后的数据以 0 为中心分布更对称特别适合使用如 tanh、ReLU 等激活函数的神经网络。我们用tanh举例myplot2如果输入特征全是正数tanh 的输出始终偏向 1 区域梯度几乎为 0学习停滞。而经过标准化后输入既有正又有负输出能覆盖整个区间梯度保持活跃网络学习更充分。这便是关于归一化的内容下一篇便是本周理论部分的最后一篇是关于网络运行中一些常见的梯度现象和其应对方法。