https://arxiv.org/abs/2303.08302
A Comprehensive Study on Post-Training Quantization for Large Language Models (Zhewei Yao, Cheng Li, Xiaoxia Wu, Stephen Youn, Yuxiong He)
llm에 대한 ptq 실험 결과네요. 요즘 MS에서 llm 근처만 가는 논문이 나와도 다 수상해 보입니다.
#llm #quantization