Kimi Linear: 표현력과 효율을 높인 어텐션 아키텍처(2025)

← 피드로

Kimi Linear는 KDA와 MLA를 3:1로 배치한 하이브리드 구조로, 동일한 학습 조건에서 전체 MLA보다 단기·장기 문맥과 강화학습 평가 전반에서 높은 성능을 기록함 핵심 모듈인 Kimi Delta Attention(KDA) 은 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 …

원문 보기 ↗