Reformer: The Efficient Transformer (ICLR 2020)

• 주요 contribution: 일반적인 트랜스포머와 비교하여 시간 복잡도가 개선된다는 점 
• 시간 복잡도를 O(L^2) 에서 O(L logL)로 감소시켜 입력 시퀀스의 길이인 L에 대해 효율적인 처리를 가능하게 함
• 매우 긴 일관된 텍스트를 생성하는 것 외에도 Reformer가 시계열 예측, 음악, 이미지 및 비디오 생성과 같은 다른 영역에 트랜스포머 모델의 강력한 성능을 가져올 수 있음