AI・機械学習・ディープラーニング

ニューラルネットワーク

更新日:

パーセプトロンのyに対して、活性化関数を掛けたもの。

活性化関数

  • シグモイド関数
  • ステップ関数
  • ReLU(Rectified Jiner Unit)

両者は非線形関数である。ニューラルネットワークでは、活性化関数に線形関数を用いてはいけない。線形関数を用いると、層を深くする意味がなくなるから。

ニューラルネットワークの計算は、行列としてまとめて行える。

出力層の設計

出力値には関数を適用する

  • 恒等関数 そのまま出力
  • ソフトマックス関数 出力値の総和を分母として、出力値を割合で表す

出力層のニューロンの数は、分類したいクラスの数とし、出力値の最も大きいニューロンが結果クラスとなる。

分類したいクラスの数は実際には数千、数万である。

重みパラメータの学習

損失関数を指標として、その値が最も小さくなる重みパラメータを探す。

重みパラメータを特徴量という。

特徴量を見つけるための訓練データを教師データと呼ぶ。

損失関数

  • 二乗和誤差
  • 交差エントロピー誤差

ミニバッチ学習

数千~数万の訓練データの中から、100枚程度を無作為に選んで学習を行う。それをミニバッチ学習という。全ての訓練データで訓練するのは時間がかかるから。

確率的勾配降下法 SDG

-AI・機械学習・ディープラーニング

Copyright© SIerからWeb系自社開発に転職!失敗して感じたたった1つの後悔 , 2019 All Rights Reserved.