国产欧美精品一区二区,中文字幕专区在线亚洲,国产精品美女网站在线观看,艾秋果冻传媒2021精品,在线免费一区二区,久久久久久青草大香综合精品,日韩美aaa特级毛片,欧美成人精品午夜免费影视

基于改進(jìn)sigmoid激活函數的深度神經(jīng)網(wǎng)絡(luò )訓練算法研究
DOI:
CSTR:
作者:
作者單位:

軍械工程學(xué)院 電子與光學(xué)工程系,軍械工程學(xué)院 電子與光學(xué)工程系,軍械工程學(xué)院 電子與光學(xué)工程系,

作者簡(jiǎn)介:

通訊作者:

中圖分類(lèi)號:

TP183

基金項目:


A Study of Training Algorithm in Deep Neural Networks based on Sigmoid Activation Function
Author:
Affiliation:

Department of Electronic and Optical Engineering,Ordnance Engineering College,Department of Electronic and Optical Engineering,Ordnance Engineering College,Department of Electronic and Optical Engineering,Ordnance Engineering College,

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪(fǎng)問(wèn)統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    針對深度神經(jīng)網(wǎng)絡(luò )訓練過(guò)程中殘差隨著(zhù)其傳播深度越來(lái)越小而使底層網(wǎng)絡(luò )無(wú)法得到有效訓練的問(wèn)題,通過(guò)分析傳統sigmoid激活函數應用于深度神經(jīng)網(wǎng)絡(luò )的局限性,提出雙參數sigmoid激活函數。一個(gè)參數保證激活函數的輸入集中坐標原點(diǎn)兩側,避免了激活函數進(jìn)入飽和區,一個(gè)參數抑制殘差衰減的速度,雙參數結合有效的增強了深度神經(jīng)網(wǎng)絡(luò )的訓練。結合DBN對MNIST數據集進(jìn)行數字分類(lèi)實(shí)驗,實(shí)驗表明雙參數 sigmoid激活函數能夠直接應用于無(wú)預訓練深度神經(jīng)網(wǎng)絡(luò ),而且提高了sigmoid激活函數在有預訓練深度神經(jīng)網(wǎng)絡(luò )中的訓練效果。

    Abstract:

    Aiming at the problem that residual error gets smaller with the depth of propagation increasing and the bottom of DNN trains ineffective, by investigating the limitations of sigmoid activation function in DNN, a sigmoid activation function with two parameters is proposed. One parameter makes the input of sigmoid activation function concentrate in sides of the origin, and another parameter restrains the decreasing speed of residual error. The combination of two parameters enhances the training of DNN. Do number classification experiments on MNIST using deep belief networks(DBN), the results show that sigmoid activation function with two parameters can be used in DNN directly without pre-training and improve the performance in DNN with pre-training.

    參考文獻
    相似文獻
    引證文獻
引用本文

黃 毅,段修生,孫世宇,郎 巍.基于改進(jìn)sigmoid激活函數的深度神經(jīng)網(wǎng)絡(luò )訓練算法研究計算機測量與控制[J].,2017,25(2):31.

復制
分享
文章指標
  • 點(diǎn)擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2016-08-12
  • 最后修改日期:2016-08-12
  • 錄用日期:2016-09-02
  • 在線(xiàn)發(fā)布日期: 2017-03-08
  • 出版日期:
文章二維碼
改则县| 琼结县| 个旧市| 老河口市| 镇宁| 温宿县| 保德县| 郯城县| 垦利县| 顺昌县| 修水县| 体育| 浦县| 图木舒克市| 措美县| 惠来县| 丘北县| 杭锦后旗| 许昌县| 蓬莱市| 阳曲县| 长顺县| 沁阳市| 伊金霍洛旗| 宽甸| 星子县| 榕江县| 乌拉特前旗| 资中县| 读书| 宁城县| 临武县| 韩城市| 景洪市| 鹤庆县| 名山县| 连江县| 西畴县| 镇坪县| 襄樊市| 会同县|