ゼロから作るDeepLearning 第六章 初期値・Batch正規化編

画像 重みの初期値 重みの初期値の設定はすごく大事。この設定によって、学習率や過学習のスピードが著しく変わる。 方法はいくつかある。 Xavierの初期値 前の層のノード数を$n$として$1/{\frac{1...

ゼロから作るDeepLearning 第六章 勾配法アルゴリズム

画像 勾配法 DNNでは、モデルのパラメータを修正して、目的地をきちんと求めることを目的としている。 よって、パラメータをどう調整するか?が大切である(ネットワークの重みなど) このとき、学習においては出力損失...

ゼロから作るDeepLearning 第五章後半

画像 Affineレイヤ Affine変換は行列の積で表される変換らしい。画像をある方向に傾けたりサイズを変えたりするもの。 NNだと、普通の行列積の重みWの層に値する。 各元の層(入力、Hideen層など)の...

ゼロから作るDeepLearning 第五章「逆伝播」前半

画像 誤差逆伝播法 これまでの通常の数値微分を毎回やると計算量が著しくひどい。 よって、誤差逆伝播法という物を使う。 これは簡単に言うと、フォワードプロパゲーションとは逆方向に微分値を流していくというものである...

Swarm Intelligence: Concepts, Models, and Applications読み 【7日目】

画像 ABCアルゴリズム ハチはお尻を降るワブルダンスで、餌場の良さを知らせるよという内容 まとめ ACOもPSOも群れの行動を元にしていて ロバスト性計算量シンプルさ動的性 に優れている。 もっ...

イラストで学ぶ人工知能概論 第六章前半

画像 内容 現実では、確定システムだとうまく作用しない。 なぜならばありとあらゆることが不確定養素を持つためである。 よって、確率に基づいたシステムが必要である。 ベイズの定理 原因Bがあったとき、結果...

ゼロから作るDeepLearning第四章 前半

画像 内容 ニューラルネットワーク ニューラルネットワークはたくさんのデータを駆動に機能する。 機械学習は特徴量を人間が選ぶ必要があるが、ニューラルネットワークはそれごとすべて完全にNNにやらせてしまう。こわいね。...

ゼロから作るDeepLearning 第三章後半

画像 線形代数 ディープラーニングは線形代数 $i$層の出力は $A_i = Z_{i-1} {\times}A_i + B_i$ $Z_i = f(A_i)$となるただし、$f$は活性化関数。 分...

イラストで学ぶ人工知能概論 2日目

画像 今日の内容 人工知能は「現実」を抽象化して「記号化」することが大切である。これによって、より汎用的かつ役に立つものになる(計算量が、現実のままだと永遠に増えてしまうので・・・) 状態$s$と行動$a$が大事であ...

ゼロから学ぶDeepLearning 3章 前半

画像 内容 活性化関数が大事だなぁという内容。 活性化関数関数がないと、ただの線形式になって、いらない表現・計算量が増える。 そのためにいろいろな活性化関数があるので活用しようね、という回。 明日 3章...