神刀安全网

神经网络入门


一、Motivations

  • “Non-linear Hypotheses”
  • 解决复杂非线性问题的方法之一
  • 解决复杂非线性分类问题比Logistic回归有优势

二、Model representation

神经网络入门

神经网络入门


三、Cost Function

神经网络入门


四、Backpropagation Algorithm

  • 从误差传递理解

    1. 前面的每一项都需要对后面的所有误差承担责任

      神经网络入门

  • 回归初心,从计算梯度理解

    1. 对输出层:

      神经网络入门

    2. 对隐藏层:

      神经网络入门

    3. 要特别小心向量化操作
  • 累计梯度矩阵

    神经网络入门

    神经网络入门


五、Neural network process

  1. 搭建神经网络框架
  2. 随机初始化权重
  3. 对每一个样本执行前向传播算法,计算激励值(各层的z,a)
  4. 计算代价函数
  5. 对每一个样本误差执行后向传播算法,计算各自梯度(最后将累计梯度矩阵的均值作为模型的梯度)
  6. 梯度检查
  7. 执行最优化算法计算权重矩阵

六、技术细节

  1. 参数向量化(掌握矩阵和向量之间的转化)
  2. 梯度检查
    • 神经网络入门

    • 梯度检查完毕后记得关掉
  3. 随机初始化

    神经网络入门

  4. 隐藏层数目默认选择单个隐藏层;如果选择多个隐藏层,保证每个隐藏层单元数相同
  5. 隐藏单元一般越大越好,但是考虑计算量问题,略多于输入特征数也可接受

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 神经网络入门

分享到:更多 ()

评论 抢沙发