210223 Linear Transformers Are Secretly Fast Weight Memory Systems.md

https://arxiv.org/abs/2102.11174 슈미트후버 선생님이 리니어 어텐션이 91년에 발표한 자신의 아이디어와 동치라는 것을 발견. 물론 결과는 재미있음.

#linear_attention #attention #efficient_attention