AI・機械学習・ディープラーニング

誤差逆伝播法が必要な理由

投稿日:

ディープラーニングの勉強してると、誤差逆伝播法が必ず出てくるんだけど、イマイチなぜ?それが必要なのか分からなかった。

理由 ニューラルネットの層が深くなると、勾配の計算に時間がかかる。

誤差逆伝播法だと勾配の計算が速い。

誤差逆伝播自体は1990年代からあったもの。しかし、層が深くなると勾配消失(層が深くなると、勾配が小さくなっていくこと)が起きてしまい、学習をすすめることができなくなってしまう。

自己符号化器を使って、事前に重みの初期値を適正化しておくことで、層が深くても学習がうまく進むことが判明。現在のディープラーニングブームの幕開けとなった。

-AI・機械学習・ディープラーニング

Copyright© SIerからWeb系自社開発に転職!失敗して感じたたった1つの後悔 , 2019 All Rights Reserved.