[머신러닝/딥러닝]CNN(convolutional neural networks)

입력 데이터의 순서가 중요한 경우 CNN을 사용하여 task를 수행할 수 있다. CNN은 convolution layer(+detector stage), pooling layer, fully-connected layer로 구성된다.

---

입력(input)과 가중치(kernel)의 convolution(엄밀히 말하면 cross correlation이다.)을 통해 핵심적인 정보를 추출한다. 대개 출력의 수는 입력에 비해 작아지나 zero-padding을 통해 유지시킬 수 있다.

convolution 연산은 입력과 그보다 작은 커널의 상호작용만으로 출력을 내기 때문에 결과적으로 특정 입력 노드 주변의 노드들만 기여를 한다.(sparse interaction) 기여하는 입력 노드들의 집합을 receptive field라고 하고 커널의 크기가 클수록 신경망의 깊이가 깊어질수록 커지는 경향을 보인다.

convolution 연산에 사용되는 커널은 모든 입력에 대해 파라미터가 공통적으로 적용되므로 fully-connected에 비해 학습할 파라미터의 수가 적다.

---

convolution 다음 층인 pooling layer는 데이터를 요약하는 계층이다. 여러 가지 방식이 있으나 max pooling(특정 범위에서 가장 큰 값을 다음 출력으로 전달함.)을 많이 사용한다. 이러한 기법은 입력에 섞인 노이즈에 강건하며 정보 요약을 통해 다음 층의 연산 부담을 줄인다.