Lee

batch_size 2에서 학습을 하였는데, out of memory가 발생을 합니다.

5

# ❓ Questions & Help batch_size 2에서 학습을 하였는데, out of memory가 발생을 합니다. 사용된 GPU는 Tesla V100 32GB, 2장을 사용하였습니다. 전체 메모리를 대부분 사용하던데 학습에 사용된 장비와 배치 사이즈를...

transformer에서 Reinforcement learning for fine-tuning like Minimum Risk Training (MRT)를 수행하려고 합니다. 사전학습에 사용된 데이터 모델에서 획득한 bpe모델을 이용하여 bpe과정 까지 진행한 미세조정 할 데이터셋은 준비하였습니다. 미세조정을 하려면 실행문이 >>...