https://arxiv.org/abs/2303.06182
Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference (Haiyang Huang, Newsha Ardalani, Anna Sun, Liu Ke, Hsien-Hsin S. Lee, Anjali Sridhar, Shruti Bhosale, Carole-Jean Wu, Benjamin Lee)
moe 학습, moe vision language, mode 추론 논문까지 나오는군요. 이것도 MS에서 나왔으면 다음에 진짜 moe 모델을 하나 deploy 하려고 하는가 싶었겠지만 다행히도(?) 그렇지는 않네요.
#mixture_of_experts