2019年8月 に投稿された記事

該当件数:25件 この期間に記録されたログをみる

【論文読み】training neural networks with ant colony optimization algorithms for pattern classification

画像 どんな論文? パターン識別や画像識別は、最近はDeepLearningが用いられている人間が特徴量を決める必要がなく、そもそもDeepLearningを通して発見された特徴量のほうが、意味がある、強いという近頃の流れ...

ゼロから学ぶDeepLearning 第8章 ディープラーニング編

画像 ディープラーニングの層数 ディープラーニングでは、層を深くすると表現力が増加する。さらに、パラメータの層数も減らせるので嬉しい。 ただし、深くしすぎると逆伝播で勾配が失われてしまうので、ResNetのようにする...

イラストで学ぶ人工知能 第七章 強化学習編 前半

画像 強化学習 強化学習は、人なしで、ロボットが環境下で「報酬を受け取ることで」解決策を見つけていく方法。 状態価値関数 状態価値関数$V^{\pi}(s)$は、状態$s$にいる時から、方策${\pi}$に従いなが...

ゼロから学ぶDeepLearning 第六章 後半

画像 im2col Numpyだと適当にやると、実行が遅くなる。そこで、フィルターの適用部分ごとに一行に展開して、線形代数の積ができる。 CNNの特徴 CNNは層を連ねると、各レイヤに特徴が出てくる。 Con...

イラストで学ぶ人工知能概論 第六章 前半

画像 マルコフ マルコフ性とは、現在の状態のみで未来の状態が決まること、昔は関係ない(うれしいね) このマルコフ性をもつ状態遷移のモデルをマルコフモデルといい、特に離散の場合はマルコフ連鎖という。 マルコフ過程...

ゼロから作るDeepLearning 第七章 前半

画像 畳込み層 畳み込み層は、画像識別のために使う層のこと。 これまでのAffine層などは全結合であるため、次元などの特徴を消してしまう。そのため、畳み込み層は各チャンネル(RGBなど)ごとに値を畳み込んで計算をす...

ゼロから学ぶDeepLearning 第六章 過学習編

画像 正則化 過学習を抑えるために必要。DeepLearningは、汎用性をもたせるのが第一なので。 過重減衰 Weight Decayという。 DeepLearningのDNNモデルでは、重みパラメータが大...

ゼロから作るDeepLearning 第六章 初期値・Batch正規化編

画像 重みの初期値 重みの初期値の設定はすごく大事。この設定によって、学習率や過学習のスピードが著しく変わる。 方法はいくつかある。 Xavierの初期値 前の層のノード数を$n$として$1/{\frac{1...

ゼロから作るDeepLearning 第六章 勾配法アルゴリズム

画像 勾配法 DNNでは、モデルのパラメータを修正して、目的地をきちんと求めることを目的としている。 よって、パラメータをどう調整するか?が大切である(ネットワークの重みなど) このとき、学習においては出力損失...

ゼロから作るDeepLearning 第五章後半

画像 Affineレイヤ Affine変換は行列の積で表される変換らしい。画像をある方向に傾けたりサイズを変えたりするもの。 NNだと、普通の行列積の重みWの層に値する。 各元の層(入力、Hideen層など)の...

ゼロから作るDeepLearning 第五章「逆伝播」前半

画像 誤差逆伝播法 これまでの通常の数値微分を毎回やると計算量が著しくひどい。 よって、誤差逆伝播法という物を使う。 これは簡単に言うと、フォワードプロパゲーションとは逆方向に微分値を流していくというものである...

Swarm Intelligence: Concepts, Models, and Applications読み 【7日目】

画像 ABCアルゴリズム ハチはお尻を降るワブルダンスで、餌場の良さを知らせるよという内容 まとめ ACOもPSOも群れの行動を元にしていて ロバスト性計算量シンプルさ動的性 に優れている。 もっ...

イラストで学ぶ人工知能概論 第六章前半

画像 内容 現実では、確定システムだとうまく作用しない。 なぜならばありとあらゆることが不確定養素を持つためである。 よって、確率に基づいたシステムが必要である。 ベイズの定理 原因Bがあったとき、結果...

ゼロから作るDeepLearning第四章 前半

画像 内容 ニューラルネットワーク ニューラルネットワークはたくさんのデータを駆動に機能する。 機械学習は特徴量を人間が選ぶ必要があるが、ニューラルネットワークはそれごとすべて完全にNNにやらせてしまう。こわいね。...

ゼロから作るDeepLearning 第三章後半

画像 線形代数 ディープラーニングは線形代数 $i$層の出力は $A_i = Z_{i-1} {\times}A_i + B_i$ $Z_i = f(A_i)$となるただし、$f$は活性化関数。 分...

イラストで学ぶ人工知能概論 2日目

画像 今日の内容 人工知能は「現実」を抽象化して「記号化」することが大切である。これによって、より汎用的かつ役に立つものになる(計算量が、現実のままだと永遠に増えてしまうので・・・) 状態$s$と行動$a$が大事であ...