https://arxiv.org/abs/2306.06688
Language Versatilists vs. Specialists: An Empirical Revisiting on Multilingual Transfer Ability (Jiacheng Ye, Xijia Tao, Lingpeng Kong)
llm의 multilingual transfer에 대한 연구. non english 데이터의 양이 작더라도, english에 대해서 더 많이 학습된 모델 (llama)이 multilingual 데이터에 대해 학습된 모델 (bloom) 보다 더 나을 수 있다는 것이 중요한 부분인 듯 싶네요. 어떻게 보면 각 언어에 대해 약간의 데이터만 확보해도 각 언어를 상당 부분 지원할 수 있다는 것을 시사한다고 볼 수 있겠네요.
#multilingual