Qwen3.8 27B 양자화 벤치마크: 4비트는 성능 유지, 1비트는 붕괴

← 피드로

55GB인 Qwen3.8 27B를 4비트 양자화로 17GB까지 줄여도, 과학 문제, 지시 준수와 에이전트 코딩 평가에서 원본과 눈에 띄는 성능 차이가 없었음 17GB 모델은 24GB RTX 4090에 약 64k 토큰 컨텍스트와 함께 올릴 수 있어, 소비자용 GPU에서도 원본에 가까운 작업 성…

원문 보기 ↗