AI・機械学習・ディープラーニング

ニューラルネットワーク

投稿日:2018年3月26日 更新日:

パーセプトロンのyに対して、活性化関数を掛けたもの。

活性化関数

  • シグモイド関数
  • ステップ関数
  • ReLU(Rectified Jiner Unit)

両者は非線形関数である。ニューラルネットワークでは、活性化関数に線形関数を用いてはいけない。線形関数を用いると、層を深くする意味がなくなるから。

ニューラルネットワークの計算は、行列としてまとめて行える。

出力層の設計

出力値には関数を適用する

  • 恒等関数 そのまま出力
  • ソフトマックス関数 出力値の総和を分母として、出力値を割合で表す

出力層のニューロンの数は、分類したいクラスの数とし、出力値の最も大きいニューロンが結果クラスとなる。

分類したいクラスの数は実際には数千、数万である。

重みパラメータの学習

損失関数を指標として、その値が最も小さくなる重みパラメータを探す。

重みパラメータを特徴量という。

特徴量を見つけるための訓練データを教師データと呼ぶ。

損失関数

  • 二乗和誤差
  • 交差エントロピー誤差

ミニバッチ学習

数千~数万の訓練データの中から、100枚程度を無作為に選んで学習を行う。それをミニバッチ学習という。全ての訓練データで訓練するのは時間がかかるから。

確率的勾配降下法 SDG

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

岡谷貴之「深層学習」に挫折したらオライリー「ゼロから作るDeep Learning」

ディープラーニング協会のG検定の推奨書籍である、「深層学習」を読み始めた。 いきなりこれ読んでたら、確実に挫折して、「AI研究なんて、大学院レベルの人がやること…」となっていただろう。 幸い自分は1冊 …

no image

いちばんやさしい機械学習プロジェクトの教本

この本はAIプロジェクトのプロマネ、コンサルは必携の本。 エンジニアもAI案件に携わるなら、全工程を見通すために役に立ちます。 各工程でのポイントがよくまとめられているため、具体的な AIで起業する場 …

no image

損失関数、ニューロンの数、層の深さは何か?

損失関数   ニューロンの数 ニューロンの役割 ここでいうニューロンは単純パーセプトロンのこと。つまり、x1w1+x2w2>bで表されるもの。 この式より、bより大きいものと小さいもの …

no image

線形関数を活性化関数に用いてはいけない理由

線形関数とは y=ax(aは定数)のこと。 線形関数で層を重ねると 1層目 y=ax 2層目 y=a(ax)=a2x 3層目 y=a(a(ax)=a3x ・・・ n層目 y=anx このようになってし …

no image

機械学習・ディープラーニングとは何か?

機械学習とは、コンピュータにデータを学習させ、特徴を導き出し、未来への予測・判断などに活用することです。 https://s.news.mynavi.jp/series/Python_ML/001/