DeltaNet 계열 선형 어텐션 변형 살펴보기

← 피드로

소프트맥스 어텐션에서 출발해 고정 크기 상태를 쓰는 선형 어텐션, 오류만 기록하는 DeltaNet, 전체 상태를 감쇠하는 Gated DeltaNet, 채널별로 감쇠하는 Kimi Delta Attention(KDA)까지 단계적으로 유도함 기본 선형 어텐션은 과거 key-value 외적의 합을 상태 (S_t)에 저장해 시퀀…

원문 보기 ↗