https://arxiv.org/abs/2007.14966
Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity (Sourya Basu, Govardana Sachitanandam Ramachandran, Nitish Shirish Keskar, Lav R. Varshney)
Mirostat: A Perplexity-Controlled Neural Text Decoding Algorithm (Sourya Basu, Govardana Sachitanandam Ramachandran, Nitish Shirish Keskar, Lav R. Varshney)
lm에 대한 top-k/top-p sampling과 perplexity의 관계, perplexity와 repetition 문제의 관계를 실험. 그리고 길이와 관계 없이 주어진 perplexity 조건에 맞춰 샘플링할 수 있는 알고리즘을 제안. #language_generation