모멘텀
-
EMA(Exponential Moving Average, EMA) 지수이동평균Mathematics/Calculus 2023. 11. 22. 22:45
* EMA(Exponential Moving Average, EMA) 지수 이동 평균 각 날짜별 온도를 가지고 지수이동평균을 구하고자 한다. 현재의 지수이동평균값은 과거의 온도값의 영향에 가중치를 곱해서 구한 값이다. 즉 과거의 영향을 고려해서 값을 표현하고자 할 때 사용되는 것이다. 지수평활법(EMA)이 모든 과거 데이터를 고려하는 반면, 이동평균(MA)은 k개의 과거 데이터 포인트만을 고려한다는 점에서 차이가 있다. (주식에서 5일 선, 120일 선 등은 MA를 말하는 것이고, 지수평활법에서는 모든 과거 데이터를 고려하므로, 5일 선, 120일 선 등의 표현은 조금 부적절해보인다.) theta는 1~100일의 현재 온도이고, v는 지수이동평균값을 의미한다. 가중치(혹은 모멘텀) beta를 0.9로 잡..
-
[DL for VS #7] 신경망 하이퍼파라미터 튜닝Machine Learning/Deep Learning for Vision Systems 2023. 4. 13. 23:02
4.5.1 데이터 추가 수집 또는 하이퍼파라미터 튜닝 훈련 데이터에 대한 기존 성능이 납득할만한 수준인지 확인한다. 훈련 데이터 정확도(train_acc)와 검증 데이터 정확도(val_acc) 이렇게 두 가지 지표를 시각화해서 관찰한다. 훈련 데이터에 대한 성능이 낮다면 과소적합의 가능성이 있다. 과소적합은 기존 데이터도 충분히 활용하지 못하는 상황이므로 데이터를 추가 수집할 필요가 없다. 하이퍼파라미터를 조정하거나 기존 훈련 데이터를 클린징(정화)해야 한다. 훈련 데이터에 대한 성능은 괜찮은데 테스트 데이터에 대한 성능이 떨어진다면 일반화 성능이 떨어지는 과적합의 가능성이 있다. 데이터 추가 수집이 유효한 경우다. 데이터 레이블링이 수동작업으로 이루어짐.이미지 한 장 한 장 사람이 직접 보고 레이블링 ..