정칙화

다른 뜻에 대해서는 조절 (물리학) 문서를 참고하십시오.

정칙화(正則化, regularization)는 역문제를 해결할때나 기계 학습에서 잘못 설정된 문제(ill-posed)를 풀거나 과적합을 방지하는 기법으로 티호노프 정칙화 등이 있다.

정규화 절차는 여러 가지 방법으로 나눌 수 있지만 다음과 같은 설명이 특히 유용한다.

• 명시적 정규화는 최적화 문제에 용어를 명시적으로 추가할 때마다 정규화된다. 이러한 용어는 사전, 처벌 또는 제약이 될 수 있다. 명시적 정규화는 일반적으로 잘못된 최적화 문제에 사용된다. 정규화 항 또는 페널티는 최적의 솔루션을 고유하게 만들기 위해 최적화 함수에 비용을 부과한다.
• 암시적 정규화는 다른 모든 형태의 정규화이다. 예를 들어 조기 중지, 강력한 손실 함수 사용, 이상값 삭제 등이 여기에 포함된다. 암시적 정규화는 심층 신경망 훈련을 위한 확률적 경사하강법 및 앙상블 방법(예: 랜덤 포레스트 및 경사 강화 트리)을 비롯한 현대 기계 학습 접근 방식에서 본질적으로 어디에나 존재한다.

같이 보기

• 행렬 정칙화
• 선조건자
• 편향-분산 트레이드오프
• 라그랑주 승수법