기록보관소

오토인코더(Autoencoder)는 비지도학습 유형의 딥러닝 모델 중 하나이며 입력된 데이터를 신경망에 통과시켜 똑같이 출력하는 기능을 한다. 입력 재건 자체보다는 입력을 잘 표현할 수 있는 은닉 표현(hidden representation)을 찾는 것을 목적으로 한다. 이를 통해 입력 크기를 더 적은 차원으로 요약할 수 있다. 유의미한 정보는 모든 가능한 경우의 극히 일부분만을 차지하며 집중되어있다는 다양체 가정이 모델의 가능성을 뒷받침한다. 은닉층의 노드를 증가시킨다면 당연히 입력 데이터를 완벽하게 표현할 수 있지만 이는 오토인코더를 사용하는 목적을 퇴색시킨다.(over-fitting) 물론 더 적은 노드를 사용하면 완벽하게 입력데이터를 묘사할 수 없을지 모르지만 그럼에도 어느 정도 입력 데이터의 특..

입력이 가변적이고 순차적인 sequential data인 경우 RNN을 사용한다. RNN은 순차적인 데이터가 입력이나 출력으로 사용된다는 특징을 가지고 있다. feed-forward neural network의 일종이며 매개변수 공유를 통해 매개 변수 학습의 비용이 적다는 특징을 가지고 있다. 명칭에서 알 수 있듯이 이전 은닉층의 출력을 다음 은닉층의 입력으로 반복하여 사용한다. 출력층의 출력이 은닉층의 입력으로 공급되는 경우도 있다.(teacher forcing) 은닉층의 출력이 이전 은닉층의 입력으로 되돌아가는 경우도 있다. 대표적인 예로 Encoder-Decoder Architecture, Deep RNN가 있다. RNN은 feed-forward neural network로서 기울기 하강 방식으로 ..

입력 데이터의 순서가 중요한 경우 CNN을 사용하여 task를 수행할 수 있다. CNN은 convolution layer(+detector stage), pooling layer, fully-connected layer로 구성된다. 입력(input)과 가중치(kernel)의 convolution(엄밀히 말하면 cross correlation이다.)을 통해 핵심적인 정보를 추출한다. 대개 출력의 수는 입력에 비해 작아지나 zero-padding을 통해 유지시킬 수 있다. convolution 연산은 입력과 그보다 작은 커널의 상호작용만으로 출력을 내기 때문에 결과적으로 특정 입력 노드 주변의 노드들만 기여를 한다.(sparse interaction) 기여하는 입력 노드들의 집합을 receptive fiel..

딥러닝은 알고리즘 특성상 복잡도가 높아 과적합이 발생하기 쉽다. 과적합 문제를 해결하기 위해 여러 가지 정규화(Regularization) 방법이 요구되었다. Parameter Norm Penalty는 파라미터의 페널티 항을 비용함수에 추가하여 파라미터 값에 제약을 주어 모델의 복잡도를 낮추는 방법이다. 노드 사이의 간선의 가중치만을 페널티 항에 포함시키고 바이어스는 포함시키지 않는다. 바이어스에 대한 제약은 모델을 전체적으로 움직여 과소적합을 발생시키기 때문이다. 또한 층마다 다른 종류의 페널티 항을 사용할 수 있지만연산에 오랜 시간이 걸리기 때문에 대개 공통 페널티 항을 사용한다. 대표적으로 릿지(Ridge) 스타일의 페널티 항인 L2 norm penalty와 라소(Lasso) 스타일의 L1 norm..

딥러닝(deep learning)은 딥 뉴럴 네트워크(deep neural network)를 기반으로 하는 학습 알고리즘이다. 딥 뉴럴 네트워크 중 심층 순방향 신경망(deep feedforward network)는 데이터가 입력층(input layer), 은닉 층(hidden layer), 출력 층(output layer)을 거쳐가면서 원하는 결과를 얻어낼 수 있는 신경망 구조이다. 이러한 층의 개수를 신경망의 깊이(depth)라고 하고 층에 있는 노드의 개수를 너비(width)라고 한다. 딥러닝은 각 층의 노드를 연결하는 가중치를 학습하는 과정이며 대개 기울기 하강법(gradient descent)을 사용하여 비용함수(cost function)을 최소화하는 방향으로 가중치를 조절한다. 이때 조절하는 ..