機械学習におけるData Augmentationのまとめ【その1】

Deep Learnig Auto Augment python

Data Augmentationとは

一般的には，Data Augmentation（以下，DA）とは機械学習（Deep Learningなど）で性能を向上させるための技術のひとつである． 簡単な概要としては，学習用のデータに対し人工的なノイズなどを付加した画像を生成し，生成した画像を元の学習用データに追加することで性能の向上が期待される技術である．

DAを用いる方法

DAを用いる方法は2つに分類される．まず，機械学習では学習と検証という2つのフェーズを経て学習モデルが学習される．これらを踏まえ学習時に用いる方法が最も一般的なDAである．一方で学習時および検証時にもDAを用いる方法も存在し，この手法はTest Time Augmentationと呼ばれている．

Deep Learning（以下，DL）におけるDAの簡単な歴史

DLにおけるDAの歴史としては，DA関連の論文の多くでは2012年にAlexらがDAを用いたものを引用していることからAlexらの研究を基準に考えることが妥当だと考えることが出来る[1]．それ以降様々なDAの種類が提案され続けている．最も一般的なDA手法はKerasなどでも実装されている手法などであるのでそれを参考していただきたい[2]．著者の勝手な偏見でDAの手法のターニングポイントと考える手法は，年代順に挙げるとcutout[4]/Random Erasing[5], mixup[6], DAGANおよびshake-shake[7]の5手法であると考える．それぞれの手法についての紹介は今後行う予定である．

DAの面白い研究

DAについて面白い取組みをしている研究は，話題となったAuto Augmentであると考えている．この研究はニューラルネットのモデルを機械的に生成するための研究にインスパイヤされた研究で，機械的にDAの適用方法を最適化していく研究となっている．この研究についての詳しい内容は今後説明したいと考えている．

参考文献

  1. https://github.com/keras-team/keras-docs-ja
  2. Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Proceedings of the Advances Neural Information Processing Systems 25 (NIPS), pp. 1097–1105 (2012)
  4. Devries, T. and Taylor, G. W.: Improved Regularization of Convolutional Neural Networks with cutout (2017). arXiv 1708.04552v1 1.
  5. Zhong, Z., Zheng, L., Kang, G., Li, S. and Yang, Y.: Random Erasing Data Augmentation (2017). arXiv 1708.04896. 6.Zhang, H., Cisse, M., Dauphin, Y. N. and Lopez-Paz, D.: mixup: Beyond Empirical Risk Minimization (2017). arXiv 1710.09412v1 1.
  6. Yamada, Y., Iwamura, M. and Kise, K.: ShakeDrop regularization (2018). arXiv1802.02375.