【論文読み】training neural networks with ant colony optimization algorithms for pattern classification

画像

どんな論文?

パターン識別や画像識別は、最近はDeepLearningが用いられている
人間が特徴量を決める必要がなく、そもそもDeepLearningを通して発見された特徴量のほうが、意味がある、強いという近頃の流れがある。

しかし、これまでのDNNでは、バックプロパゲーションするなどの学習をする前に決める最初の重みの初期値によっては学習が進まないということがあった。

そこで、重みの初期値を決める前に、ACOを用いて重みの間を移動させて、より画像を識別できる、つまりエラーの小さいルートを見つけてそこの重みを強くする。
これによって、初期値依存が減る、という事がわかった!

さらに、ACOだけでなく、BackPropagation(BP)を組み合わせた
ACO-BPのほうが、これまでのACO, BP,そして、GP-BPなどよりも効率が良いことが分かった。

思ったこと

ACOの論文系が重みの学習だけでアレってなった。
ちょっと思いついたことがあるので適当にやってみるとする。

また、近頃初期値の決め方がきちんとしてきたのと、ミスが減ってきているので、このACOを初期値に使う研究が意味があるのか難しい気もする。