AI・機械学習・ディープラーニング

誤差逆伝播法が必要な理由

投稿日:

ディープラーニングの勉強してると、誤差逆伝播法が必ず出てくるんだけど、イマイチなぜ?それが必要なのか分からなかった。

理由 ニューラルネットの層が深くなると、勾配の計算に時間がかかる。

誤差逆伝播法だと勾配の計算が速い。

誤差逆伝播自体は1990年代からあったもの。しかし、層が深くなると勾配消失(層が深くなると、勾配が小さくなっていくこと)が起きてしまい、学習をすすめることができなくなってしまう。

自己符号化器を使って、事前に重みの初期値を適正化しておくことで、層が深くても学習がうまく進むことが判明。現在のディープラーニングブームの幕開けとなった。

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

人工知能解体新書 ゼロからわかる人工知能のしくみと活用

この本は良かった。実用例が豊富だから。IBM Watsonの解説が多いんだけど、それだけWatsonはAI産業で重要なポジションを占めているってことがわかった。G検定の推薦図書では具体例が少なくて、「 …

no image

ディープラーニングのビジネス新規事業立ち上げ情報

エンジニアがディープラーニング界隈で稼ぐ(転職 or 起業)するためのガイド。 ディープラーニングのお勉強 「日本ディープラーニング協会」(Japan Deep Learning Associatio …

no image

AIビジネス脳を考える・鍛える

AIで何ができるか?を理解し、事例を蓄えている。 すべてのものがデータとして認識でき、AIによりどんなROIを出せるかが数字で浮かんでくる。 あらゆるものがAIを入れた時にどうなるか映像で見え、宝の山 …

no image

AIの俯瞰

AI=Artifical Inteligence=人口知能 AIの適用領域 画像認識 Visual Recognition ImageNet というコンテストがある。何の画像かAIが見極める競技である …

no image

AWS Amazon Machine Learning で MNISTを分類

実際に機械学習アプリを使用するにあたってはAWSとGCPで最も簡単に作る方法を調査した。 GCPでは Cloud ML Engineというのがあるが、あくまでEngineであり、GUIで簡単にアプリを …