SSD 4개에서 스트리밍해 MacBook Pro에서 Kimi K3(2.8T)를 초당 1토큰으로 실행

← 피드로

ARGODRIVE Deltafin은 128GB 메모리의 M5 Max MacBook Pro 한 대에서 1.45TB의 전문가 가중치를 SSD 4개로부터 스트리밍해 2.8조 파라미터 Kimi K3를 실행하며, 512토큰 생성 구간에서 1.0015토큰/초를 기록함 전문가를 제거하거나 전문가 가중치를 재인코딩해 속도…

원문 보기 ↗