基于权值变化的BP神经网络自适应学习率改进研究
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Improvement of Learning Rate of Feed Forward Neural Network Based on Weight Gradient
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    针对传统神经网络的学习率由人为经验性设定,存在学习率设置过大或过小,容易导致无法收敛或收敛速度慢的问题,本文提出基于权值变化的自适应学习率改进方法,改善传统神经网络学习率受人为经验因素影响的弊端,提高误差精度,并结合正态分布模型与梯度上升法,提高收敛速度.本文以BP神经网络为例,对比固定学习率的神经网络,应用经典XOR问题仿真验证,结果表明本文的改进神经网络具有更快的收敛速度和更小的误差.

    Abstract:

    An adaptive learning rate improvement method, based on weight change, is proposed to improve the learning rate of traditional neural network in this study. If the learning rate is too large or too small, neural network is too difficult or too slow to converge. To offset this disadvantage, the study put forward a new learning rate, based on weight gradient, to improve the convergence rate and improve the traditional neural network learning rate affected by the human experienced factors, and combined with normal distribution and gradient rise method, to size up error accuracy and convergence speed. Taking BP neural network as an example, comparing the fixed learning rate neural network, and applying classical XOR problem simulation, we verify the proposed method. The results show that this improved neural network has faster convergence speed and smaller error.

    参考文献
    相似文献
    引证文献
引用本文

朱振国,田松禄.基于权值变化的BP神经网络自适应学习率改进研究.计算机系统应用,2018,27(7):205-210

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-10-22
  • 最后修改日期:2017-11-10
  • 录用日期:
  • 在线发布日期: 2018-06-27
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号