AI・機械学習・ディープラーニング

誤差逆伝播法が必要な理由

投稿日:

ディープラーニングの勉強してると、誤差逆伝播法が必ず出てくるんだけど、イマイチなぜ?それが必要なのか分からなかった。

理由 ニューラルネットの層が深くなると、勾配の計算に時間がかかる。

誤差逆伝播法だと勾配の計算が速い。

誤差逆伝播自体は1990年代からあったもの。しかし、層が深くなると勾配消失(層が深くなると、勾配が小さくなっていくこと)が起きてしまい、学習をすすめることができなくなってしまう。

自己符号化器を使って、事前に重みの初期値を適正化しておくことで、層が深くても学習がうまく進むことが判明。現在のディープラーニングブームの幕開けとなった。

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

機械学習・ディープラーニングとは何か?

機械学習とは、コンピュータにデータを学習させ、特徴を導き出し、未来への予測・判断などに活用することです。 https://s.news.mynavi.jp/series/Python_ML/001/

no image

損失関数、ニューロンの数、層の深さは何か?

損失関数   ニューロンの数 ニューロンの役割 ここでいうニューロンは単純パーセプトロンのこと。つまり、x1w1+x2w2>bで表されるもの。 この式より、bより大きいものと小さいもの …

no image

ディープラーニングの分かりやすい記事まとめ

入門・解説記事 深層学習を勉強して説明してみた https://research.preferred.jp/2012/11/deep-learning/ 業界を代表するブログ https://rese …

no image

AIの俯瞰2

人工知能研究にあった大きな壁 機械学習に使う情報量の不足 コンピューター性能の不足 機械学習に使う情報量の不足 インターネットの登場→ビッグデータ 検索技術=マイニングにより、ビッグデータからひつよ …

no image

AIが得意そうなこと・ビジネス開発

比較・検討 レコメンデーション(推薦)と呼ばれる分野。 この人は⚫⚫を買いそうだ というものの提案。 定型業務 法律 軽微な交通事故のようなものは、訴訟パターンが決まっている。過去の事例を解析して、勝 …