浏览:623 | 回复:11
机器学习第四周笔记
heartsmile
  • 注册时间:2015-03-20
  • 最后登入:2017-12-31

推荐


主要介绍神经网络和向前传播算法(重点要仔细看懂PPT,所有的知识点PPT都讲的十分清楚)

神经网络模型建立在很多神经元之上,每一个神经元又是一个个学习模型。这些神经元(也叫激活单元,activation unit)采纳一些特征作为输出,并且根据本身的模型提供一个输出。下图是一个以逻辑回归模型作为自身学习模型的神经元示例,在神经网络中,参数又可被成为权重(weight)。

神经网络模型是许多逻辑单元按照不同层级组织起来的网络,每一层的输出变量都是下一层的输入变量。下图为一个 3 层的神经网络,第一层成为输入层(Input Layer),最后一层称为输出层(Output Layer),中间一层成为隐藏层(Hidden Layers)。我们为每一层都增加一个偏差单位(bias unit): 


符号说明:

  • ai(j)表示第j层网络的第i个神经元,例如下图a1(2)就表示第二层的第一个神经元
  • θ(j)表示从第j层到第j+1层的权重矩阵,例如下图所有的θ(1)表示从第一层到第二层的权重矩阵
  • θuv(j)表示从第j层的第v个神经元到第j+1层的第u个神经的权重,例如下图中θ23(1)表示从第一层的第3个神经元到第二层的第2个神经元的权重,需要注意到的是下标uv是指v->u的权重而不是u->v,下图也给出了第一层到第二层的所有权重标注
  • 一般地,如果第j层有sj个神经元(不包括bias神经元),第j+1层有sj+1个神经元(也不包括bias神经元),那么权重矩阵θj的维度是(sj+1×(sj+1))


上面进行的讨论中只是将特征矩阵中的一行(一个训练实例)喂给了神经网络,我们需要将整个训练集都喂给我们的神经网络算法来学习模型。我们可以知道:每一个 a 都是由上一层所有的 x 和每一个 x 所对应的决定的。(我们把这样从左到右的算法称为前向传播算法( FORWARD PROPAGATION ))



 

多类分类



业精于勤,荒于嬉;行成于思,毁于随