전체 글
-
[DL for VS #3] 최적화 알고리즘-(배치, 확률적, 미니배치)경사하강법, 역전파 알고리즘Machine Learning/Deep Learning for Vision Systems 2023. 4. 8. 23:30
2.6.2 배치 경사 하강법(batch gradient descent, BGD) 1.경사 (경사=미분=기울기 ) 가장 가파른 방향을 찾는다. 3차원으로 생각해보면 여러 편미분값 중 가장 가파른(가장 큰 편미분값) 방향을 선정하는 것. 2.보폭(학습률 α) 학습률(learning rate)은 경사하강법 수행 중 가중치를 수정할 때 이동할 보폭에 해당. 가장 중요한 하이퍼파라미터 중 하나. 학습률 크면 신경망 학습 빠르게 진행(오차 함수의 언덕을 큰 보폭으로 내려가므로) 학습률이 너무 크면 보폭 사이에 골이 존재할 경우 오찻값이 진동(oscillating)하기만 할 뿐 감소하지 않는다. 학습률이 너무 작으면 학습 시간이 오래 걸림. 학습률은 0.1 또는 0.01을 초깃값으로 설정한 다음 추후 조정. 3.방향..
-
C 언어 기초#5 제어문 - if, switch, goto, while, for, continueProgramming 기초/C Language 2023. 4. 8. 19:38
*제어문(control statement) 조건문(if, switch, goto)과 반복문(while, for, continue)이 있다. *if문 참인 경우 실행됨. if(조건식) 예제) 문자를 입력받고 대문자, 소문자, 그 외 문자로 분류. #define _CRT_SECURE_NO_WARNINGS//scanf 사용하기 위한 정의. #include int main(void) { char ch; printf("문제를 입력하시오:"); scanf("%c", &ch); if (ch >= 'A' && ch = 'a' && ch = '0' && ch 조건문에 따른 continue의 동작 방식. 예제) 알파벳 소문자를 입력 받아 대문자로 바꿔주는 프로그램 #define _CRT_SECURE_NO_WARNINGS/..
-
C 언어 기초 #4 여러가지 연산자(증감, 복합대입, 형변환, 관계, 논리, 조건, 콤마, 비트단위)Programming 기초/C Language 2023. 4. 7. 22:05
*증감연산자 ++x -> 먼저 증가시켜 증가된 x의 값을 수식에 사용. x++ -> 수식에 현재 x 값 대입 후 나중에 x를 증가시킴. *복합대입연산자 *대입 연산시 자동적인 형변환 double f; f = 10; 10이 double형으로 변환된 후에 변수 f로 대입된다. 이러한 변환을 올림 변환(promotion)이라고 한다. int i; i = 3.141592; 3.141592가 정수형 변수에 대입되면 3으로 변환되어 저장된다. 이러한 변환을 내림 변환(demotion)라고 한다. -> 데이터의 손실을 야기함. (int형을 char형에 대입하면 내림 변환 발생. int형은 4바이트고 char형은 1바이트) *수식 연산시 자동적인 형변환 char형과 short형은 수식 계산시 cpu 연산 처리의 편의상..
-
[DL for VS #2] 순방향 계산 과정, 오차함수-평균제곱오차(MSE), 교차엔트로피, 오차와 가중치 관계(최적화 문제)Machine Learning/Deep Learning for Vision Systems 2023. 4. 7. 21:38
2.4.1 순방향 계산 과정 2.5 오차함수 비용함수(cost function) 또는 손실 함수(loss function)라고 불림. 신경망의 예측 결과가 바람직한 출력과 비교해서 얼마나 ‘동떨어졌는지’ 측정하는 수단. 손실값 크면 모델의 정확도가 낮다는 뜻. 2.5.2. 오차함수 필요성 최적화 문제와 관계됨. 최적화 문제는 오차 함수를 정의하고 파라미터(가중치)를 조정해서 오차 함수가 계산하는 오차를 최소가 되도록 하는 문제. 오차를 최소로 만드는 과정을 오차 함수 최적화(error function optimization)라고 함. 오차의 값은 항상 양수. 목표치에서 얼마나 떨어졌는지가 중요. 2.5.4 평균제곱오차(Mean Squared Error,MSE) 출력값이 실수인 회귀 문제에서 널리 사용하는..
-
[DL for VS #1] 활성화 함수 : sigmoid, softmax, tanh, ReLU, Leaky ReLUMachine Learning/Deep Learning for Vision Systems 2023. 4. 7. 20:59
컴퓨터 비전을 독학하고자 책을 찾던 중 괜찮은 책을 발견했다. 목차를 보면 많은 내용을 꽤나 자세하게 다루는 것을 알 수 있다. 내용을 자세한 수학 수식과 함께 그림으로 설명하고 있어서 컴퓨터 CV(computer vision)를 처음 접하는 비전공자(me)에게 적합한 것 같다. 해당 책은 케라스(keras) 라이브러리를 이용하여 딥러닝을 구현한다. * ANN (Artificial Neural Network, 인공신경망) * Deep Learning(딥러닝) * CNN(Convolutional Neural Network, 합성곱 신경망) : 이미지 처리 및 분류에서 활용 * DNN(Deep Neural Network, 심층 신경망) : 은닉층이 2개 이상인 신경망 * RNN(Recurrent Neural..
-
C 언어 기초 #3 상수, 자료형, 진법, 부동소수점, escape sequence, 오버/언더 플로우Programming 기초/C Language 2022. 11. 8. 23:13
*상수 리터럴 상수(literal constant) : 3.141592와 같이 이름이 붙지 않는 상수. 기호 상수(symbolic constant) : 이름이 붙는 상수. *식별자(identifier) : 변수 이름, 함수 이름 등에 사용되어서 다른 것들과 식별할 수 있게 해주는 것. *키워드(keyword), 예약어(reserved words) : c언어에서 고유한 의미를 갖는 특별한 단어 *int형과 long형의 차이 32bit cpu에서 int와 long은 같다. 16bit와 64bit cpu에서는 다르다. 16bit cpu 32 bit cpu 64 bit cpu short 16 bit 16 bit 16 bit int 16 bit 32 bit 32 bit long 32 bit 32 bit 64 bi..
-
C 언어 기초 #2 printf(), scanf()Programming 기초/C Language 2022. 11. 8. 23:04
*자료형(data type)이란 변수가 저장할 데이터가 정수인지 실수인지 아니면 또 다른 어떤 데이터인지를 지정하는 것. 표준자료형 정수형 : short, int, long 부동 소수점형 : float, double, long double 문자형 : char sizeof() 연산자 : 자료형의 크기, 변수나 자료형 크기를 바이트 단위로 반환하는 연산자 *인수 :함수에게 전달하는 데이터 “hello world” 가 함수의 인수가 됨. C언에어서 하나의 문자를 표시랄 때는 ‘a’와 같이 작은따옴표를 사용한다. 텍스트 문자열을 표시할 때는 “abc”와 같이 큰 따옴표를 사용한다. *printf(“두수의 합: %d”, sum); -> 형식지정자 : 출력 형식을 지정. 변수 sum의 값을 10진수 정수 형태로 출..