← 피드로
▲ 3점 · 댓글 💬 0개 · 해커뉴스
출처: piszczek.pl · https://piszczek.pl/blog/qwen38-27b-256k-50-tps-24gb-gpu
24GB RTX PRO 4000 SFF (432GB/s) 에서 256K에서 Qwen3.8-27B: MTP를 사용하는 50 tok/s
작성자
카테고리:
작성자
카테고리:
▲ 3점 · 댓글 💬 0개 · 해커뉴스