新年AlexNet
あけましておめでとうございます！！ あけおめラインが来なかった男、テツです！！！！
2019年ですね、、、特に何もないですが、、
年末に遊ぶ友達もいなく、せっかくだし論文読んでみるかあ(初めて)したので、それについてまとめていきたいと思います。
読んだ論文
ImageNet Classification with Deep Convolution Neural Network http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
まとめ方
先輩からオススメしていただいた、落合フォーマットというものを使わせていただきました。
それではここからがまとめです。
ImageNet Classificaton with Deep Convolution Neural Networks
1.どんなもの？
ImageNetのデータセットに対して強い成果を出したネットワーク 過学習抑制のためにDropOut、Data augmentationを実装している
2.先行研究と比べてどこがすごい？
- 他のクラス分類よりも良い精度を出せた
- また過学習も少なく、validationとtestのaccuracyが近い
- 認識したい物体が画面中央になくても認識できる
- 様々なポーズの物体も認識できる
3.技術、手法のキモはどこ？
アーキテクチャ
- ReLU関数の実装
非線形ながらも勾配降下にて高速な処理を行える。
- Local Response Normalizationの実装
わかりそうでわからない。
- Overlapping Pooling
ストライドよりもサイズを大きくすることで、重なり合う部分も取れる。
過学習抑制
- データオグメンテーション
画像の水平移動、PCAを行い固有値にノイズを加える。
- DropOut
ランダムにいくつかのニューロンの出力を０に固定することで毎回違うネットワークを構築、アンサンブル学習を行う。
4.どうやって有効だと検証した？
コンペでの記録、また正しく分類したtestデータとトレーニングデータを比べてみた。
5.議論はある？
auto-encoderを使った圧縮の方が効率的。 層を一つでも減らすと性能は劣化する。
6.次に読むべき論文は？
もっと強いVGGとかResNet、話し出てきたauto-encoderとか
間違って解釈してしまっていることなどあれば、教えてください！
思ったこと
大学3年にして初めて英語の論文をちゃんと読んでみたけども、とても時間かかるしわからん単語多すぎわろた。 全部読むのにだいたい２日間くらいかかりました。 なんか思ったこととかもまとめておきます。
まず全部読まなくていい
これはよく言われていることですが本当に全部読まなくていいと思った。 一つしか読んでないので一概には言えないですけど、resultとか自慢話感強い（怒られそう）。 他にもNetworkの構成だって文見るより、図見た方が早いもん。データセットとかそこまで詳しくならんでもいいもん。 けどまだそこのいるいらないの区別はうまくつけられそうにないので、あと何回かはちゃんと読みます。
見る順番大事
今回は初だから最初からバーって読んだけど、この順番で見ればよかったとかは思う。 後から前のページに戻るのめんどくさいし、、、
Abstractは優秀
かなり優秀です、強い。大体のこと要約して書いてある。
introduction
研究背景とか、現在の問題点とか、、 初めての分野とかだと読んだ方が良さそう。
図とか表見る
アーキテクチャの構成とかは図とか表で読み取れます。分らない層とかがあればarchitectureを見る感じでいいかも
評価とかdiscussion
ここには今後の進展とかここがよくできたみたいな大事なこと書いてます。
やっぱり英語や数学は難しい
英語難しいです読んでも分らんもんはわかりません。 google翻訳でもうまくいきません、頑張ろう。 数学的ガチ理解したいときはもっと数式を掘り下げていくと。 最終手段だけど、世の中にはもっと賢い人たちがまとめてくれている、、、
総まとめ
まあやっぱり難しいし、疲れますね、、 慣れたら少しは楽に読めるようになると思うので、たくさん読んで慣れる。 これに尽きますわぁぁぁ。
次はVGG読もうと思いまする
