← 피드로
colibrì는 GLM-5.2 744B MoE를 소비자용 머신의 약 25GB RAM에서 실행하도록 만든 순수 C 엔진이며, 라우팅된 expert를 디스크에서 스트리밍해 GPU 없이 동작함 핵심 구조는 dense 부분 약 17B 파라미터를 int4로 RAM에 상주시켜 9.9GB를 쓰고, 21,504개 라우팅 ex…
출처: news.hada.io · https://news.hada.io/topic?id=31297
답글 남기기