Kimi K3 아키텍처 개요와 설계 노트

← 피드로

지난해 공개된 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 모델로, 현재 공개 가중치 모델 가운데 규모가 가장 큼 새로 도입한 LatentMoE는 대형 선형 계층을 다운 프로젝션해 압축하고, 전체 구조는 일반 MoE와 어텐션을 추론 효율 중심 구성요소로 대체함</l…

원문 보기 ↗