Machine Learning
-
[cs231n_review#Lecture 2-3] Setting HyperparametersMachine Learning/cs231n 2023. 6. 14. 17:36
idea #1 if we use this strategy we'll always pick K=1, in practice it seems that setting K equals to larger values might cause us to misclassify some of the training data, but, in fact, lead to better performance on points that were not in the training data. we don't care about fitting the training data, we really care about how our classifier, or how our method, will perform on unseen data afte..
-
[cs231n_review#Lecture 2-2] Nearest Neighbor classifierMachine Learning/cs231n 2023. 6. 13. 11:30
you might imagine working on this dataset called CIFAR-10, which is very commonly used in machine learning, as kind of a small test case. the CIFAR-10 dataset gives you 10 different classes, and for each of those 10 categories it provides 50,000 training images, roughly evenly distributed across these 10 categories. And then 10,000 additional testing images that you're supposed to test your algo..
-
[cs231n_review#Lecture 2-1] Image Classification: A core task in Computer VisionMachine Learning/cs231n 2023. 6. 11. 17:36
* The Problem: Semantic Gap And the computer really is representing the image as this gigantic grid of numbers. So, the image might be something like 800 by 600 pixels. And each pixel is represented by three numbers, giving the red, green, and blue values for that pixel. So, to the computer, this is just a gigantic grid of numbers. out of this, like, giant array of thousands, or whatever, very m..
-
[DL for VS #9] LeNet-5Machine Learning 2023. 4. 19. 22:12
5.1 CNN의 디자인 패턴 * 첫 번째 패턴 : 특징 추출과 분류. 합성곱 신경망은 크게 특징 추출을 맡는 부분(일련의 합성곱층)과 분류를 맡는 부분(일련의 전결합층)으로 나뉜다. * 두 번째 패턴 : 이미지 깊이(색상 채널)는 증가, 크기는 감소. 입력층에서 색상 채널에 해당한 깊이가 합성곱층에서는 특징맵으로 바뀌어 깊이가 계속 증가한다. 입력 이미지 모양 = 높이x폭x채널({r,g,b}=3) 이미지 모양 = 높이 x 폭 x 특징맵수 * 세 번째 패턴 : 전결합층. 앞의 두 패턴만큼 반드시 지켜지지는 않음. 대부분 전결합층은 유닛 수가 같거나 이어지는 층에서 점차 유닛 수가 감소하는 패턴을 보임. 이어지는 층에서 유닛 수가 증가하는 경우는 매우 드물다. 5.2 LeNet-5 1998년 르쿤의 연구진은..
-
[DL for VS #8] 배치 정규화Machine Learning/Deep Learning for Vision Systems 2023. 4. 17. 03:31
4.9 배치 정규화 입력층에 이미지를 입력하기 위한 데이터의 전처리에서 정규화를 사용했었다.(아래 요약 참고) 4.3.2 데이터 전처리(신경망에 입력되기 전에 이루어지는 것들) 회색조 이미지 변환 – 계산 복잡도를 경감시킬 수 있다. 이미지 크기 조절 – 신경망의 한계점 중 하나는 입력되는 모든 이미지의 크기가 같아야 한다. 데이터 정규화 – 데이터에 포함된 입력 특징(이미지의 경우 픽셀값)의 배율을 조정해서 비슷한 분포를 갖게 함. 데이터 강화 – 데이터 강화를 데이터 전처리로도 활용할 수 있다. 이미 추출된 특징을 정규화하면 은닉층도 마찬가지로 정규화의 도움을 받을 수 있다. '추출된 특징'은 변화가 심하므로 정규화를 통해 신경망의 학습 속도와 유연성을 더욱 개선할 수 있다. 이런 기법을 배치 정규화..
-
[DL for VS #7] 신경망 하이퍼파라미터 튜닝Machine Learning/Deep Learning for Vision Systems 2023. 4. 13. 23:02
4.5.1 데이터 추가 수집 또는 하이퍼파라미터 튜닝 훈련 데이터에 대한 기존 성능이 납득할만한 수준인지 확인한다. 훈련 데이터 정확도(train_acc)와 검증 데이터 정확도(val_acc) 이렇게 두 가지 지표를 시각화해서 관찰한다. 훈련 데이터에 대한 성능이 낮다면 과소적합의 가능성이 있다. 과소적합은 기존 데이터도 충분히 활용하지 못하는 상황이므로 데이터를 추가 수집할 필요가 없다. 하이퍼파라미터를 조정하거나 기존 훈련 데이터를 클린징(정화)해야 한다. 훈련 데이터에 대한 성능은 괜찮은데 테스트 데이터에 대한 성능이 떨어진다면 일반화 성능이 떨어지는 과적합의 가능성이 있다. 데이터 추가 수집이 유효한 경우다. 데이터 레이블링이 수동작업으로 이루어짐.이미지 한 장 한 장 사람이 직접 보고 레이블링 ..
-
[DL for VS #6] 성능 지표 - 정확도, 혼동 행렬, 정밀도, 재현율, F-점수, 시각화 예제Machine Learning/Deep Learning for Vision Systems 2023. 4. 12. 16:50
4. 딥러닝 프로젝트 시동 걸기와 하이퍼파라미터 튜닝 머신러닝 시스템의 성능 지표 정의하기 베이스라인 모델 설정하기 학습 데이터 준비하기 모델을 평가하고 성능 지표 해석하기 신경망을 개선하고 하이퍼파라미터 튜닝하기 4.1 성능 지표란 모델의 성능을 평가하는 지표에는 정확도, 정밀도, 재현율, F-점수 등이 있다. 4.1.1 정확도 정확도 = 정답을 맞힌 횟수 / 전체 표본 수 희귀질환 양성/음성 판정 시스템 예시에서, 정확도는 이 모델의 성능 평가하기 적합한 지표가 아니다. 전체 1백만 명 중 1명꼴로 발병한다면, 음성 예측 시스템은 99.999%의 정확도를 갖는다.(정확도 지표가 의미가 없음) 4.1.2 혼동 행렬 또 다른 지표를 정의하기 앞서 혼동 행렬(confusion mamtrix)를 알아야 함...
-
[DL for VS #5] 컬러 이미지 합성곱 연산 실습Machine Learning/Deep Learning for Vision Systems 2023. 4. 12. 16:40
3.6 컬리 이미지의 합성곱 연산(3D 이미지) 컬러이미지는 R, G, B채널을 포함하기 때문에 28x28 크기의 이미지를 컴퓨터는 28x28x3크기의 행렬로 다룬다. 3.6.1 컬러 이미지를 대상으로 합성곱 연산하기 합성곱 커널을 입력 이미지 위로 이동시키며 특징 맵을 계산하면 되는데, 이제 커널도 채널이 추가되어 3차원이 되었다. *훈련데이터 : 모델을 학습하는데 사용하는 데이터 *검증 데이터 : 하이퍼파라미터를 튜닝할 때 훈련 데이터에 치우치지 않도록 하기 위한 별도의 데이터. 검증 데이터에서 학습한 내용이 모델 설정에 끼어들면 모델 평가가 편향된다. *테스트 데이터 : 모델의 성능을 최종 판단하기 위해 사용하는 데이터 *레이블 행렬 원-핫 인코딩을 적용해서 (1,n) 모양의 레이블 벡터를 (10,..