CV 응용 사례#3 인공신경망의 역사

* artificial neural networks

input layer : 미가공 데이터, 이미지로부터 얻은 정보(픽셀 데이터)

output layer: 분류가 일어나는 곳

hidden layers 은닉층: 다수의 연결이 일어나고 다수의 뉴런과 다른 뉴런에서 오는 많은 양의 입력 등이 있다.  신경망 중 은닉층의 수가 적은 경우 얕은(shallow) 신경망이라 한다.(반대는 깊은deep 신경망)

 

* 인공 신경망의 역사

1. 1940년 McCulloch과 Pitts가 최초의 신경망 모델을 만들었다.

- McCulloch과 Pitts가 만든 것은 수학적 모델이었다. 임곗값을 정해 이를 의사 결정에 사용했다.

 

2. 1940년대 후반과 1950년대에 최초의 컴퓨팅 모델들이 개발되었고, 학습 목적으로 활용되었는데 비지도 형태의 학습이다. 

 

3. 1958년 Rosenblatt이 최초의 이중 계층 네트워크, 퍼셉트론을 공개한다.

- 두 개의 층이 있고 학습이 가능하지만 손실 함수가 없고 경사 하강도, 역전파도 없었다.

 

4. 1980년대와 1990년대에는 컴퓨터 비전 과제인 OCR(Optical Caracter recognition)에 대한 최초의 합성곱 신경망(CNN) LeCun의 논문이 발표되었다. 그는 손글씨 우편 번호를 자동으로 읽을 수 있는 알고리즘을 만들었는데, 그의 신경망은 역전파를 포함하고 있었고, 신경망 훈련에 소요된 기간은 단 3일이었다. 정확도는 95%이상으로 정확했다.

 

5. 스탠포드 대학의 Fei-Fei Li 교수는 주석을 단 이미지로 구성된 대규모 데이터베이스(320만장)를 만드는 작업을 크라우드 소싱을 통해 수년에 걸쳐 작업하고, 2009년에 공개했다.

 

6. ILSVRC는 ImageNet Large Scale Visual Recognition Challenge의 약자인데, 2010년에 시작되었고 이미지넷의 하위 집합인 1,000가지 분류에 속하는 객체의 이미지 150,000장을 분류하는 대회이다. 초기에는 30%의 오차가 발생했다. 그러다 2년 후인 2012년에 AlexNet이 등장했다. 이미지를 대상으로 하는 최초의 합성곱 신경망이다. 오차가 16% 정도로 떨어졌다.

 

7. 2012년에 또 다른 합성곱 신경망이 ICPR 암 감지 대회에서 우승했다. MICCAI 대회에서도 CNN이 우승했고, 

2012년을 기점으로 컴퓨터 비전 분야에서 딥 러닝의 부흥이 시작되었다.

 

 

* 참고

1. McCulloch, W.S., Pitts, W. 공저 "신경 활동에 내재된 개념에 대한 논리적 계산". 수리생물물리학회지 5, 115–133 (1943)
2. Rosenblatt, F. "페셉트론: 뇌에서 일어나는 정보 저장 및 정리에 대한 확률적 모델". 심리학 리뷰, 65(6), 386–408(1958)
3. LeCun Y., Haffner P., Bottou L., Bengio Y. 저 (1999) "경사 기반 학습을 통한 물체 인식". 수록 문헌: 컴퓨터 비전에서 형태, 윤곽 및 그룹 생성. 컴퓨터 과학 강의 노트, vol 1681. 스프링거, 베를린, 하이델베르크.