AI・機械学習・ディープラーニング

ニューラルネットワーク

投稿日:2018年3月26日 更新日:

パーセプトロンのyに対して、活性化関数を掛けたもの。

活性化関数

  • シグモイド関数
  • ステップ関数
  • ReLU(Rectified Jiner Unit)

両者は非線形関数である。ニューラルネットワークでは、活性化関数に線形関数を用いてはいけない。線形関数を用いると、層を深くする意味がなくなるから。

ニューラルネットワークの計算は、行列としてまとめて行える。

出力層の設計

出力値には関数を適用する

  • 恒等関数 そのまま出力
  • ソフトマックス関数 出力値の総和を分母として、出力値を割合で表す

出力層のニューロンの数は、分類したいクラスの数とし、出力値の最も大きいニューロンが結果クラスとなる。

分類したいクラスの数は実際には数千、数万である。

重みパラメータの学習

損失関数を指標として、その値が最も小さくなる重みパラメータを探す。

重みパラメータを特徴量という。

特徴量を見つけるための訓練データを教師データと呼ぶ。

損失関数

  • 二乗和誤差
  • 交差エントロピー誤差

ミニバッチ学習

数千~数万の訓練データの中から、100枚程度を無作為に選んで学習を行う。それをミニバッチ学習という。全ての訓練データで訓練するのは時間がかかるから。

確率的勾配降下法 SDG

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

グーグルに学ぶディープラーニング tensorflow.playgroundの試算

あまりよくなかった。これまでにディープラーニングの入門本は沢山読んできて、ある程度の内容は知っていて、事例を補いたいと思い読んだのですが、「人工知能 解体新書」のほうが有益だった。   気に …

no image

パーセプトロン

パーセプトロンとは? パーセプトロン(perceptron)はアルゴリズムの1つである。 ローゼンブラットというアメリカの心理学者・計算機科学者が1957年に考案した。 ニューラルネットワークの起源と …

no image

DeepMindの記事見て触発された

http://gigazine.net/news/20141203-deepmind-demis-hassabis/ Googleに買収されて有名になっていたDeepMindの創業者の記事を読んだ。 …

no image

エンジニアの勉強のポイント

今から勉強するなら、最先端分野がいいです。 AIがいいです。 今Springやアジャイルを学んでも、給料は上がりません。 10年前なら違ったかもしれません。 SIが今やってる、客先に常駐して顧客の業務 …

no image

機械学習・ディープラーニングとは何か?

機械学習とは、コンピュータにデータを学習させ、特徴を導き出し、未来への予測・判断などに活用することです。 https://s.news.mynavi.jp/series/Python_ML/001/