AI・機械学習・ディープラーニング

線形関数を活性化関数に用いてはいけない理由

投稿日:

線形関数とは

y=ax(aは定数)のこと。

線形関数で層を重ねると

  • 1層目 y=ax
  • 2層目 y=a(ax)=a2x
  • 3層目 y=a(a(ax)=a3x
  • ・・・
  • n層目 y=anx

このようになってしまい、n層目も実は定数aを変えただけのものになる。そのため層を重ねる意味がない。

 

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

パーセプトロン

パーセプトロンとは? パーセプトロン(perceptron)はアルゴリズムの1つである。 ローゼンブラットというアメリカの心理学者・計算機科学者が1957年に考案した。 ニューラルネットワークの起源と …

no image

ディープラーニングは機械自体が学習する

歴史 2012年のImageNetで圧勝したトロント大学の機械学習の方法が「ディープラーニング(深層学習)」である。 発案者は同大学教授のジェフリー・ヒントン。 本質 ディープラーニングは、予測能力を …

no image

何を学習するか?考えると、データがないと始まらない。

さて、Amazon Machine Learningを使ってみた。もっと他にも試してみたいなと思った。 そこで思った。 まず「大量データ」を準備するのが大変だ。 「データ」を使って何を予測すればよいか …

no image

AWS、GCPで簡単な機械学習APIが提供されていると言えども

イルカ本など読み終えて、さあ、試しに簡単なアプリでも作ってみようか!と思っても、やはり実際にAIアプリを作れるかといえばそう簡単ではないことが分かった。 例えばAmazon Machine Learn …

no image

Windows7で「ゼロから作るDeep Learning」を実装していく

IDE Pycharmがお勧め。 PycharmのFile>Default Settings>Project Interpreterで、 右上の緑の「+」ボタンから、「numpy」と「matplotl …