https://arxiv.org/abs/2106.06981
Thinking Like Transformers (Gail Weiss, Yoav Goldberg, Eran Yahav)
rnn이 finite state automata에 대응된다면 트랜스포머에 대응되는 것은 무엇인가? attention을 selecting & aggregating과 대응시키고 feedforward를 elementwise operation과 대응시켜서 시퀀스를 처리하는 언어(rasp)와 대응시켰네요. 꽤 흥미롭습니다.
#transformer