[머신러닝/딥러닝]딥러닝의 과적합과 과소적합

딥러닝은 알고리즘 특성상 복잡도가 높아 과적합이 발생하기 쉽다. 과적합 문제를 해결하기 위해 여러 가지 정규화(Regularization) 방법이 요구되었다. Parameter Norm Penalty는 파라미터의 페널티 항을 비용함수에 추가하여 파라미터 값에 제약을 주어 모델의 복잡도를 낮추는 방법이다. 노드 사이의 간선의 가중치만을 페널티 항에 포함시키고 바이어스는 포함시키지 않는다. 바이어스에 대한 제약은 모델을 전체적으로 움직여 과소적합을 발생시키기 때문이다. 또한 층마다 다른 종류의 페널티 항을 사용할 수 있지만연산에 오랜 시간이 걸리기 때문에 대개 공통 페널티 항을 사용한다. 대표적으로 릿지(Ridge) 스타일의 페널티 항인 L2 norm penalty와 라소(Lasso) 스타일의 L1 norm..
머신러닝/딥러닝 2021. 8. 24. 09:30
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함
반응형
250x250