AI・機械学習・ディープラーニング

ニューラルネットワーク

投稿日:2018年3月26日 更新日:

パーセプトロンのyに対して、活性化関数を掛けたもの。

活性化関数

  • シグモイド関数
  • ステップ関数
  • ReLU(Rectified Jiner Unit)

両者は非線形関数である。ニューラルネットワークでは、活性化関数に線形関数を用いてはいけない。線形関数を用いると、層を深くする意味がなくなるから。

ニューラルネットワークの計算は、行列としてまとめて行える。

出力層の設計

出力値には関数を適用する

  • 恒等関数 そのまま出力
  • ソフトマックス関数 出力値の総和を分母として、出力値を割合で表す

出力層のニューロンの数は、分類したいクラスの数とし、出力値の最も大きいニューロンが結果クラスとなる。

分類したいクラスの数は実際には数千、数万である。

重みパラメータの学習

損失関数を指標として、その値が最も小さくなる重みパラメータを探す。

重みパラメータを特徴量という。

特徴量を見つけるための訓練データを教師データと呼ぶ。

損失関数

  • 二乗和誤差
  • 交差エントロピー誤差

ミニバッチ学習

数千~数万の訓練データの中から、100枚程度を無作為に選んで学習を行う。それをミニバッチ学習という。全ての訓練データで訓練するのは時間がかかるから。

確率的勾配降下法 SDG

-AI・機械学習・ディープラーニング

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

AIで起業

AIで起業したい人。どんなアイデアが良いでしょうか? ソフトバンクグループ(SBG)がサウジアラビアなどと立ち上げたファンドの投資先が約20社となり、投資額が2兆円を超えたことがわかった。フィンテック …

no image

人工知能解体新書 ゼロからわかる人工知能のしくみと活用

この本は良かった。実用例が豊富だから。IBM Watsonの解説が多いんだけど、それだけWatsonはAI産業で重要なポジションを占めているってことがわかった。G検定の推薦図書では具体例が少なくて、「 …

no image

AIビジネス脳を考える・鍛える

AIで何ができるか?を理解し、事例を蓄えている。 すべてのものがデータとして認識でき、AIによりどんなROIを出せるかが数字で浮かんでくる。 あらゆるものがAIを入れた時にどうなるか映像で見え、宝の山 …

no image

ディープラーニングは機械自体か学習する仕組みがキモ

ディープラーニングの入門書を読んで思うのが、エンジニアが押さえるべきは、機械自体が学習する仕組みを押さえることです。 ディープラーニング オートエンコーダー(自己符号化) 入力と出力の値が同じになるよ …

no image

AWS、GCPで簡単な機械学習APIが提供されていると言えども

イルカ本など読み終えて、さあ、試しに簡単なアプリでも作ってみようか!と思っても、やはり実際にAIアプリを作れるかといえばそう簡単ではないことが分かった。 例えばAmazon Machine Learn …