Machine Learning
-
[DL for VS #4] CONV kernel, stride, padding, pooling, dropoutMachine Learning/Deep Learning for Vision Systems 2023. 4. 12. 16:33
3.1 다층 퍼셉트론을 이용한 이미지 분류 MNIST 예제를 이용할 것임. MNIST(Modified National Institute of Standards and Technology database) 손글씨 숫자들로 이루어진 대형 데이터베이스MNIST 데이터셋이 깔끔하고 완벽하게 전처리된 상태이기 때문에 MLP 성능(96%)과 CNN 성능(99%)이 비슷하다. 3.1.1 입력층 3.1.2 은닉층 전결합층(fully connected layer, FC = 밀집층, dense layer) 이전 층의 모든 노드가 각기 다음 층의 모든 노드와 연결된 것. 이런 신경망을 전결합 신경망(fully connected network)이라고 함. 노드와 노드를 연결하는 에지(edge)는 해당 노드의 출력에 대한 중요..
-
[DL for VS #3] 최적화 알고리즘-(배치, 확률적, 미니배치)경사하강법, 역전파 알고리즘Machine Learning/Deep Learning for Vision Systems 2023. 4. 8. 23:30
2.6.2 배치 경사 하강법(batch gradient descent, BGD) 1.경사 (경사=미분=기울기 ) 가장 가파른 방향을 찾는다. 3차원으로 생각해보면 여러 편미분값 중 가장 가파른(가장 큰 편미분값) 방향을 선정하는 것. 2.보폭(학습률 α) 학습률(learning rate)은 경사하강법 수행 중 가중치를 수정할 때 이동할 보폭에 해당. 가장 중요한 하이퍼파라미터 중 하나. 학습률 크면 신경망 학습 빠르게 진행(오차 함수의 언덕을 큰 보폭으로 내려가므로) 학습률이 너무 크면 보폭 사이에 골이 존재할 경우 오찻값이 진동(oscillating)하기만 할 뿐 감소하지 않는다. 학습률이 너무 작으면 학습 시간이 오래 걸림. 학습률은 0.1 또는 0.01을 초깃값으로 설정한 다음 추후 조정. 3.방향..
-
[DL for VS #2] 순방향 계산 과정, 오차함수-평균제곱오차(MSE), 교차엔트로피, 오차와 가중치 관계(최적화 문제)Machine Learning/Deep Learning for Vision Systems 2023. 4. 7. 21:38
2.4.1 순방향 계산 과정 2.5 오차함수 비용함수(cost function) 또는 손실 함수(loss function)라고 불림. 신경망의 예측 결과가 바람직한 출력과 비교해서 얼마나 ‘동떨어졌는지’ 측정하는 수단. 손실값 크면 모델의 정확도가 낮다는 뜻. 2.5.2. 오차함수 필요성 최적화 문제와 관계됨. 최적화 문제는 오차 함수를 정의하고 파라미터(가중치)를 조정해서 오차 함수가 계산하는 오차를 최소가 되도록 하는 문제. 오차를 최소로 만드는 과정을 오차 함수 최적화(error function optimization)라고 함. 오차의 값은 항상 양수. 목표치에서 얼마나 떨어졌는지가 중요. 2.5.4 평균제곱오차(Mean Squared Error,MSE) 출력값이 실수인 회귀 문제에서 널리 사용하는..
-
[DL for VS #1] 활성화 함수 : sigmoid, softmax, tanh, ReLU, Leaky ReLUMachine Learning/Deep Learning for Vision Systems 2023. 4. 7. 20:59
컴퓨터 비전을 독학하고자 책을 찾던 중 괜찮은 책을 발견했다. 목차를 보면 많은 내용을 꽤나 자세하게 다루는 것을 알 수 있다. 내용을 자세한 수학 수식과 함께 그림으로 설명하고 있어서 컴퓨터 CV(computer vision)를 처음 접하는 비전공자(me)에게 적합한 것 같다. 해당 책은 케라스(keras) 라이브러리를 이용하여 딥러닝을 구현한다. * ANN (Artificial Neural Network, 인공신경망) * Deep Learning(딥러닝) * CNN(Convolutional Neural Network, 합성곱 신경망) : 이미지 처리 및 분류에서 활용 * DNN(Deep Neural Network, 심층 신경망) : 은닉층이 2개 이상인 신경망 * RNN(Recurrent Neural..