AI・機械学習・ディープラーニング

誤差逆伝播法が必要な理由

投稿日:

ディープラーニングの勉強してると、誤差逆伝播法が必ず出てくるんだけど、イマイチなぜ?それが必要なのか分からなかった。

理由 ニューラルネットの層が深くなると、勾配の計算に時間がかかる。

誤差逆伝播法だと勾配の計算が速い。

誤差逆伝播自体は1990年代からあったもの。しかし、層が深くなると勾配消失(層が深くなると、勾配が小さくなっていくこと)が起きてしまい、学習をすすめることができなくなってしまう。

自己符号化器を使って、事前に重みの初期値を適正化しておくことで、層が深くても学習がうまく進むことが判明。現在のディープラーニングブームの幕開けとなった。

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

損失関数、ニューロンの数、層の深さは何か?

損失関数   ニューロンの数 ニューロンの役割 ここでいうニューロンは単純パーセプトロンのこと。つまり、x1w1+x2w2>bで表されるもの。 この式より、bより大きいものと小さいもの …

no image

いちばんやさしい機械学習プロジェクトの教本

この本はAIプロジェクトのプロマネ、コンサルは必携の本。 エンジニアもAI案件に携わるなら、全工程を見通すために役に立ちます。 各工程でのポイントがよくまとめられているため、具体的な AIで起業する場 …

no image

AIビジネス脳を考える・鍛える

AIで何ができるか?を理解し、事例を蓄えている。 すべてのものがデータとして認識でき、AIによりどんなROIを出せるかが数字で浮かんでくる。 あらゆるものがAIを入れた時にどうなるか映像で見え、宝の山 …

no image

DeepMindの記事見て触発された

http://gigazine.net/news/20141203-deepmind-demis-hassabis/ Googleに買収されて有名になっていたDeepMindの創業者の記事を読んだ。 …

no image

何を学習するか?考えると、データがないと始まらない。

さて、Amazon Machine Learningを使ってみた。もっと他にも試してみたいなと思った。 そこで思った。 まず「大量データ」を準備するのが大変だ。 「データ」を使って何を予測すればよいか …