[DL] Regularization

* Regularization

학습데이터에만 잘 적용되는 것이 아니라 test data에도 잘 동작되도록 만들어주기 위함(genral performance를 높여줌)

 

1. Early stopping

validation error를 활용해서 stop training point를 찾는다.

2. Parameter norm penalty

• neural network가 만들어내는 함수의 공간속에서 부드러운 함수로 만들고자 한다. 부드러운 함수일수록 generalize performance가 높을 것이라는 가정아래,  파라미터의 크기가 너무 커지지 않게 하는 것. 

3. Data augmentation

• 데이터셋을 늘리는 방법.
• label preserving augmentaion : label이 바뀌지 않는 한도내에서 이미지를 변형시킨다.

4. Noise robustness

Add random noises inputs or weights

 

5. Label smoothing

• mixup, cutmix 등을 하면 성능이 많이 올라간다.
• training 단계에서 데이터 두 개를 뽑아서 섞어준다.
• 분류문제라 하면 dicision boundary를 찾는 게 목적인데,  dicision boundary를 부드럽게 만들어주는 효과.
• Mix-up : constructs augmented training examples by mixing both input and output of two randomly selected training data
• CutMix : constructs augmented training examples by mixing inputs with cut and paste and outputs with soft labels of two randomly selected training data.

 

6. Dropout

In each forward pass, roandomly set some neurons to zero

7. Batch normalization

• batch normalization compute the empirical mean and variance independently for each dimension (layers) and normalize
• 내가 적용하려는 layer의 statistics를 정규화 시키는 것.
• 이유에 대해 논란이 많음. 성능은 올라간다.