단일 AMD MI300X에서 DeepSeek V4 Flash 실행하기

← 피드로

304B 매개변수의 DeepSeek-V4-Flash-0731을 추가 가중치 양자화나 오프로딩 없이 단일 AMD MI300X에서 프로덕션 운영하기 위한 구성과 패치를 제공함 MI300X의 192GB HBM3에 156.67GiB 가중치와 20GB GPU KV 캐시를 배치하고, 퇴거된 프리픽스 캐시는 96GiB CPU 계…

원문 보기 ↗