AI・機械学習・ディープラーニング

ニューラルネットワーク

投稿日:2018年3月26日 更新日:

パーセプトロンのyに対して、活性化関数を掛けたもの。

活性化関数

  • シグモイド関数
  • ステップ関数
  • ReLU(Rectified Jiner Unit)

両者は非線形関数である。ニューラルネットワークでは、活性化関数に線形関数を用いてはいけない。線形関数を用いると、層を深くする意味がなくなるから。

ニューラルネットワークの計算は、行列としてまとめて行える。

出力層の設計

出力値には関数を適用する

  • 恒等関数 そのまま出力
  • ソフトマックス関数 出力値の総和を分母として、出力値を割合で表す

出力層のニューロンの数は、分類したいクラスの数とし、出力値の最も大きいニューロンが結果クラスとなる。

分類したいクラスの数は実際には数千、数万である。

重みパラメータの学習

損失関数を指標として、その値が最も小さくなる重みパラメータを探す。

重みパラメータを特徴量という。

特徴量を見つけるための訓練データを教師データと呼ぶ。

損失関数

  • 二乗和誤差
  • 交差エントロピー誤差

ミニバッチ学習

数千~数万の訓練データの中から、100枚程度を無作為に選んで学習を行う。それをミニバッチ学習という。全ての訓練データで訓練するのは時間がかかるから。

確率的勾配降下法 SDG

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

人工知能を補助する人工知能

人工知能を補助する人工知能が出てくる。

no image

機械学習・ディープラーニングとは何か?

機械学習とは、コンピュータにデータを学習させ、特徴を導き出し、未来への予測・判断などに活用することです。 https://s.news.mynavi.jp/series/Python_ML/001/

no image

ディープラーニングは機械自体が学習する

歴史 2012年のImageNetで圧勝したトロント大学の機械学習の方法が「ディープラーニング(深層学習)」である。 発案者は同大学教授のジェフリー・ヒントン。 本質 ディープラーニングは、予測能力を …

no image

AIの俯瞰

AI=Artifical Inteligence=人口知能 AIの適用領域 画像認識 Visual Recognition ImageNet というコンテストがある。何の画像かAIが見極める競技である …

no image

AIの俯瞰2

人工知能研究にあった大きな壁 機械学習に使う情報量の不足 コンピューター性能の不足 機械学習に使う情報量の不足 インターネットの登場→ビッグデータ 検索技術=マイニングにより、ビッグデータからひつよ …