dl
-
[DL for VS #8] 배치 정규화Machine Learning/Deep Learning for Vision Systems 2023. 4. 17. 03:31
4.9 배치 정규화 입력층에 이미지를 입력하기 위한 데이터의 전처리에서 정규화를 사용했었다.(아래 요약 참고) 4.3.2 데이터 전처리(신경망에 입력되기 전에 이루어지는 것들) 회색조 이미지 변환 – 계산 복잡도를 경감시킬 수 있다. 이미지 크기 조절 – 신경망의 한계점 중 하나는 입력되는 모든 이미지의 크기가 같아야 한다. 데이터 정규화 – 데이터에 포함된 입력 특징(이미지의 경우 픽셀값)의 배율을 조정해서 비슷한 분포를 갖게 함. 데이터 강화 – 데이터 강화를 데이터 전처리로도 활용할 수 있다. 이미 추출된 특징을 정규화하면 은닉층도 마찬가지로 정규화의 도움을 받을 수 있다. '추출된 특징'은 변화가 심하므로 정규화를 통해 신경망의 학습 속도와 유연성을 더욱 개선할 수 있다. 이런 기법을 배치 정규화..
-
[DL for VS #7] 신경망 하이퍼파라미터 튜닝Machine Learning/Deep Learning for Vision Systems 2023. 4. 13. 23:02
4.5.1 데이터 추가 수집 또는 하이퍼파라미터 튜닝 훈련 데이터에 대한 기존 성능이 납득할만한 수준인지 확인한다. 훈련 데이터 정확도(train_acc)와 검증 데이터 정확도(val_acc) 이렇게 두 가지 지표를 시각화해서 관찰한다. 훈련 데이터에 대한 성능이 낮다면 과소적합의 가능성이 있다. 과소적합은 기존 데이터도 충분히 활용하지 못하는 상황이므로 데이터를 추가 수집할 필요가 없다. 하이퍼파라미터를 조정하거나 기존 훈련 데이터를 클린징(정화)해야 한다. 훈련 데이터에 대한 성능은 괜찮은데 테스트 데이터에 대한 성능이 떨어진다면 일반화 성능이 떨어지는 과적합의 가능성이 있다. 데이터 추가 수집이 유효한 경우다. 데이터 레이블링이 수동작업으로 이루어짐.이미지 한 장 한 장 사람이 직접 보고 레이블링 ..
-
[DL for VS #4] CONV kernel, stride, padding, pooling, dropoutMachine Learning/Deep Learning for Vision Systems 2023. 4. 12. 16:33
3.1 다층 퍼셉트론을 이용한 이미지 분류 MNIST 예제를 이용할 것임. MNIST(Modified National Institute of Standards and Technology database) 손글씨 숫자들로 이루어진 대형 데이터베이스MNIST 데이터셋이 깔끔하고 완벽하게 전처리된 상태이기 때문에 MLP 성능(96%)과 CNN 성능(99%)이 비슷하다. 3.1.1 입력층 3.1.2 은닉층 전결합층(fully connected layer, FC = 밀집층, dense layer) 이전 층의 모든 노드가 각기 다음 층의 모든 노드와 연결된 것. 이런 신경망을 전결합 신경망(fully connected network)이라고 함. 노드와 노드를 연결하는 에지(edge)는 해당 노드의 출력에 대한 중요..