https://arxiv.org/abs/2305.10266
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability (Eleftheria Briakou, Colin Cherry, George Foster)
palm에서 bilingual 문서, 혹은 더 나아가 translation pair인 문서가 번역 성능에 어떤 영향을 미쳤는가 하는 분석이네요. 역시나 bilingual, translation 문서가 번역 성능에 큰 영향을 미쳤지만...모델이 커지고, zero shot이 아니라 few shot으로 넘어가면 이 문서들을 제외시켰을 때의 성능 감소폭이 줄어드는군요. cross lingual transfer의 측면에서 꽤 시사점이 있는 듯 싶네요.
#llm #nmt #multilingual