AI・機械学習・ディープラーニング

線形関数を活性化関数に用いてはいけない理由

投稿日:

線形関数とは

y=ax(aは定数)のこと。

線形関数で層を重ねると

  • 1層目 y=ax
  • 2層目 y=a(ax)=a2x
  • 3層目 y=a(a(ax)=a3x
  • ・・・
  • n層目 y=anx

このようになってしまい、n層目も実は定数aを変えただけのものになる。そのため層を重ねる意味がない。

 

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

ディープラーニングのフレームワーク

名前 ユースケース メリット TensorFlow google MNIST(手書き数字を判別)、CNN(画像認識)、Word2Vec(各単語の関係を学習)、RNN(文章から次の単語予測)、Seq2S …

no image

エンジニアの勉強のポイント

今から勉強するなら、最先端分野がいいです。 AIがいいです。 今Springやアジャイルを学んでも、給料は上がりません。 10年前なら違ったかもしれません。 SIが今やってる、客先に常駐して顧客の業務 …

no image

AWS、GCPで簡単な機械学習APIが提供されていると言えども

イルカ本など読み終えて、さあ、試しに簡単なアプリでも作ってみようか!と思っても、やはり実際にAIアプリを作れるかといえばそう簡単ではないことが分かった。 例えばAmazon Machine Learn …

no image

AIで起業

AIで起業したい人。どんなアイデアが良いでしょうか? ソフトバンクグループ(SBG)がサウジアラビアなどと立ち上げたファンドの投資先が約20社となり、投資額が2兆円を超えたことがわかった。フィンテック …

no image

グーグルに学ぶディープラーニング tensorflow.playgroundの試算

あまりよくなかった。これまでにディープラーニングの入門本は沢山読んできて、ある程度の内容は知っていて、事例を補いたいと思い読んだのですが、「人工知能 解体新書」のほうが有益だった。   気に …