https://arxiv.org/abs/2010.11934
mT5: A massively multilingual pre-trained text-to-text transformer (Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel)
101개 언어에 대한 T5 프리트레이닝. 13 빌리언 파라미터 모델은 논문 쓸 때까지 학습을 다 할 수 없었던 모양...
#pretraining #language_model #multilingual