AI・機械学習・ディープラーニング

誤差逆伝播法が必要な理由

投稿日:

ディープラーニングの勉強してると、誤差逆伝播法が必ず出てくるんだけど、イマイチなぜ?それが必要なのか分からなかった。

理由 ニューラルネットの層が深くなると、勾配の計算に時間がかかる。

誤差逆伝播法だと勾配の計算が速い。

誤差逆伝播自体は1990年代からあったもの。しかし、層が深くなると勾配消失(層が深くなると、勾配が小さくなっていくこと)が起きてしまい、学習をすすめることができなくなってしまう。

自己符号化器を使って、事前に重みの初期値を適正化しておくことで、層が深くても学習がうまく進むことが判明。現在のディープラーニングブームの幕開けとなった。

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

ディープラーニングのビジネス新規事業立ち上げ情報

エンジニアがディープラーニング界隈で稼ぐ(転職 or 起業)するためのガイド。 ディープラーニングのお勉強 「日本ディープラーニング協会」(Japan Deep Learning Associatio …

no image

何を学習するか?考えると、データがないと始まらない。

さて、Amazon Machine Learningを使ってみた。もっと他にも試してみたいなと思った。 そこで思った。 まず「大量データ」を準備するのが大変だ。 「データ」を使って何を予測すればよいか …

no image

いちばんやさしい機械学習プロジェクトの教本

この本はAIプロジェクトのプロマネ、コンサルは必携の本。 エンジニアもAI案件に携わるなら、全工程を見通すために役に立ちます。 各工程でのポイントがよくまとめられているため、具体的な AIで起業する場 …

no image

人工知能解体新書 ゼロからわかる人工知能のしくみと活用

この本は良かった。実用例が豊富だから。IBM Watsonの解説が多いんだけど、それだけWatsonはAI産業で重要なポジションを占めているってことがわかった。G検定の推薦図書では具体例が少なくて、「 …

no image

人工知能を補助する人工知能

人工知能を補助する人工知能が出てくる。