- pytorch_tutorial1 : torch로 tensor를 다루는 여러 기초 방법론을 공부합니다.
- pytorch_tutorial2 :기본 modeling, NN layer 쌓기 및 metric 등 torch.nn의 모듈 및 기능에 대해 알아봅니다.
- pytorch_dataloader : pytorch의 dataset과 dataloader에 대해 알아봅니다. 각각 data 전처리, data shuffle 및 sample, collate_fn 함수를 적용하여 학습을 위한 준비를 마칠 수 있도록 도와줍니다.
- pytorch_autograd : pytorch에서 gradient가 어떻게 계산되는지,
autograd메소드를 통하여 알아보고 backpropagation 과정을 구현을 통해 복기해 봅니다.(참고자료)
- week2-1.
bert모델의 embedding vector 추출, cosine similarity 및 유사도 - week2-2. pretrained
bert에 hidden layer를 쌓아 fine-tuning, loss, optimizer, freeze/unfreeze - week2-3. [Pytorch] Custom Dataset, Dataloader, collate_fn
- week2-4. epoch, scheduler, gradient clipping, predition& evaluation(help.py module 활용)
- week3-1. Dataset, Dataloader 활용한 Word2Vec Skip-Gram Modelling
- week3-2. Wordpiece Tokenizer, encoding 및 decoding
- week3-4. Transformer 모델 구조 알아보기(필사)