AI・機械学習・ディープラーニング

線形関数を活性化関数に用いてはいけない理由

投稿日:

線形関数とは

y=ax(aは定数)のこと。

線形関数で層を重ねると

  • 1層目 y=ax
  • 2層目 y=a(ax)=a2x
  • 3層目 y=a(a(ax)=a3x
  • ・・・
  • n層目 y=anx

このようになってしまい、n層目も実は定数aを変えただけのものになる。そのため層を重ねる意味がない。

 

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

ニューラルネットワーク

パーセプトロンのyに対して、活性化関数を掛けたもの。 活性化関数 シグモイド関数 ステップ関数 ReLU(Rectified Jiner Unit) 両者は非線形関数である。ニューラルネットワークでは …

no image

AIの俯瞰2

人工知能研究にあった大きな壁 機械学習に使う情報量の不足 コンピューター性能の不足 機械学習に使う情報量の不足 インターネットの登場→ビッグデータ 検索技術=マイニングにより、ビッグデータからひつよ …

no image

いちばんやさしい機械学習プロジェクトの教本

この本はAIプロジェクトのプロマネ、コンサルは必携の本。 エンジニアもAI案件に携わるなら、全工程を見通すために役に立ちます。 各工程でのポイントがよくまとめられているため、具体的な AIで起業する場 …

no image

マンガでわかる人工知能が最初の1冊におすすめ

やっぱりマンガは読みやすい 「人工知能は人間を超えるか ディープラーニングの先にあるもの (角川EPUB選書)」の次に読んだが、この本の方がわかりやすい。 マンガは読みやすく、(女の子もかわいい)、グ …

no image

岡谷貴之「深層学習」に挫折したらオライリー「ゼロから作るDeep Learning」

ディープラーニング協会のG検定の推奨書籍である、「深層学習」を読み始めた。 いきなりこれ読んでたら、確実に挫折して、「AI研究なんて、大学院レベルの人がやること…」となっていただろう。 幸い自分は1冊 …