임현교, 김주봉, 한연희,

Journal of Advanced Technology Research, Vol. 2, No. 2, pp. 13-20, 12월. 2017
10.11111/JATR.2017.2.2.013, Full Text:
Keywords: Machine-Learning, Deep Learning, Convolution Neural Network, Neural Network, Optimizer
Abstract

최근 머신 러닝에 대한 관심이 높아짐에 따라 딥 러닝의 Neural Network에 대한 관심이 높아지고 있다. 특히, 다양한 Neural Network가 등장 하면서 네트워크에서 사용되는 네트워크 파라미터에 대한 최적화 알 고리즘의 관심이 증가하고 있다. 또한, 다양한 Neural Network 가 등장함에 따라 네트워크 파라미터를 최 적화 시키는 알고리즘도 나타나고 있다. 하지만 새로운 Optimizer들이 모든 Neural Network에 최적화 되 어있지않기때문에학습데이터의입력값과네트워크파라미터값에따라학습결과값이달라지는문제가 있다. 따라서, 본 논문에서는 loss 함수의 값을 최소화 시키기 위한 네트워크 파라미터의 최적화 알고리즘들 을 소개하며, 이를 위하여 현재 자주 사용되고 있는 Gradient Descent, Momentum, Adagrad, Adadelta, Adam Optimizer들에 따라 MNIST의 CNN의 학습 결과의 정확도를 비교 평가 하였다.

Statistics
Cite this article