#856
summarized by : Kiro Otsu
EIGEN: Ecologically-Inspired GENetic Approach for Neural Network Structure Searching From Scratch

どんな論文か?

タスクに関する事前知識がなくてもスクラッチからニューラルネットの構造を探索する手法の提案。生態学から着想を得た遺伝的アルゴリズムで探索を行っている。探索は4段階に分かれており、successionは初期の候補群とそのバリエーションを急速に増やし、extinctionで計算量を削減。mimicryは弱い候補が強い候補を真似、gene duplicationで強い候補が増える。

新規性

・探索空間を限ることなく、初期化も適当で、効率的なネットワーク探索ができる。これまでの遺伝的アルゴリズムによるNASに比べ計算効率がいい。 ・生態系システムの概念をNASにとりいれ、計算コストを下げ、より良いモデルの探索に役立てた。

結果

Cifar100では120GPU TIMEで78.1%のモデルを発見した。先行研究では65536GPU TIMEで77.0%だったので、計算効率がかなり改善したと言える。

その他(なぜ通ったか?等)