[week7] 네부캠 ai tech 7주차 회고

2023.12.22. 금요일

네이버  부스트코스 ai tech 6기에 참여하고 7주가 흘렀다. 7주차 회고를 작성한다.

주차별 학습 내용 목차.

1주차 : 파이썬 기초 문법, 객체 지향 프로그래밍, 넘파이, 판다스, 기초 통계(MLE, 베이즈통계), 기초 선형대수학,

           AI기초(경사하강법, CNN, RNN)

 

2주차 : pytorch

 

3주차 : DL basic(~transformer, Genertive models)

 

4주차 : 기본 모델들(AlexNet ~EfficientNet, Semantic Segmentation, Object Detection )

 

5주차 : cnn visualization ~ 3D

 

6주차 : 대회

 

7주차 : 대회

 

* 짧은 소감 

 

- 피어세션

 첫 번째 대회의 두 번째 주였다. 이번주도 대회에 대한 얘기를 주로 나누었다.

 

- 마스터 클래스(대회발표회)

대회에서 1,2등 팀이 발표를 진행했다. EDA를 열심히했다는 것을 알 수 있었고, 스토리있게 진행한 것을 보고 반성도 많이 됐다. 우리팀도 3등을 하긴 했으나, 그 성적에 나의 영향은 미비했다. 우리팀도, 다른팀도 다들 스토리있게 잘 진행했으나, 나는 이것저것 건드려보기만하고, 논리적인 이유 없이 코드 돌리기에만 급급했던 것 같아서 아쉽다.

 

- 취업특강 진행.

AI만으로는 취업하기 힘들겠다는 생각이 들었다. AI + @를 무엇을 해야할지 고민해야겠다.

 

- 멘토링
대회에 대한 진행사항을 체크했고, 피드백해주셨다. 이후 여러가지 툴을 추천해주시거나, 공부방법 등에 대해 자세히 알려주셨다. 

 

* 새롭게 배운 점 

1. base 코드를 분석.
   • 저번주 동안 base 코드만 분석했던 것 같긴하지만.. 이번주도 분석했다. 대회에서 제공해준 base 코드는 argparser를 활용하는 것이나, 팀원 중 한 분이 yaml파일을 활용하는 base code를 새로 짜셨다. .sh 파일을 활용해서 백그라운드에서 계속 돌릴 수 있었다.
2. tmux 사용
   • 컴퓨터를 켜놓고 있지 않아도 알아서 서버에서 훈련이 진행된다.(백그라운드 실행), docker랑 비슷한 사용법인데, 터미널 창을 여러 컨테이너로 나누어서 사용할 수 있다. tmux에서는 컨테이너를 window라고 부른다. 하나의 window에서도 여러가지 탭을 띄워서 작업할 수 있어서 편해서 좋다.
3. 사전학습된 모델의 저장소 timm(허깅페이스)
   • 초기에는 torchvision의 모델을 가져다가 써봤는데 대회에서 timm 라이브러리의 모델들을 가져다 썼다. api가 아주 간단하고 편리해서 대회기간동안 열심히 썼다..(moblevitv2를 열심히 써봤다.)
   • mobile_vit.v2는 모바일용으로 경량화된 vit로, 보통의 vit들이 이미지 사이즈가 정해진 반면에, 모바일용은 이미지 사이즈가 정해져 있지 않다. 또한 파라미터 수가 20M정도로 작기 때문에 대회 데이터셋 기준으로 훈련할 때 35분정도 걸렸다.
4. mixup 코드 분석 및 시각화
   • 사진을 섞어서 사용하겠다는 간단한 컨셉의 argumentation인데, 아직 파이토치 코드가 익숙하지 않아서 코랩에서 한 줄 한 줄 실행해보면서 어떻게 작동하는 지를 뜯어봤고, 시각화해봤다. 나중에 시간이 되면 정리해서 블로그에 올려야겠다.
5. nn.CrossEntropyLoss 구현
   • 직접 torch를 이용해서 처음부터 구현해봤다. 매번 loss에 대한 개념이 헷갈려서 이번에 코랩에서 맘 잡고 정리했고, 이후 블로그에 옮길 예정이다.

 

* 회고(아쉬운 점)

1. 다른 팀원분들은 각자 자신이 해야 할 것들을 잘 찾아서 하는 것 같은데, 나는 조금 붕떠있었다. 따라가기 급급하다보니 큰 그림을 못 보고 임했던 것 같아서, 다음 대회부터는 충분히 생각하고 정리하면서 스토리 있게 (논리적 흐름을 보면서) 공부를 해야겠다고 생각했다. 공부를 하면서 따라가겠다는 초기 생각과 달리, 대회에 빠른 흐름에 정신없이 표류했어서, 아쉽다.
2. 깃을 많이 활용해보지 못한 것이 너무 아쉽다. 다음번에는 issue를 꼭 활용해봐야겠다..(담주에 진짜 복습하자.)
3. 팀에서 gradCAM과 segmentation을 사용했는데, 코드를 못 뜯어봤다. 시간될 때 뜯어봐야겠다.

 

 

* 주말 계획

1. 랩업 레포트, 개인 회고 작성

2. R-CNN,NMS 스터디 준비

2. deep dive 공부

3. 프로젝트 주제 고민

4. 순환신경망, seq2seq 공부하기

 

* 다음주 계획

object detection을 공부하기 위해 팀원들과 파트를 나눠서 발표하기로 했다. 나는 R-CNN과 NMS를 맡았다. 다음주는 밀린 공부를 많이 해야겠다.

 

< 목표 >

1. 앞으로 어떤 산업분야, it 도메인 혹은 비it 도메인 어디로 나아가야할 지 많이 찾아보고, 물어보고 고민해보자. 

2. 멘토님이 추천해주신 자료를 보면서, 수학 기초를 쌓자. 책, 유튜브 
3. 프레임워크에 익숙해지자. 또한 수식과 코드를 연결하는 공부를 하자.(요건 잘 진행중)

 

 

* 공부 내용 링크 

2023.12.22 - [et al/AI Tech 6] - [멘토링] 7주차 멘토링 정리