Bonsai 2 27B, 메모리 사용량을 9분의 1 미만으로 줄인 거의 무손실 압축

← 피드로

PrismML이 Qwen3.8 27B 기반 Ternary Bonsai 2 27B를 공개함. 모델 크기는 5.9GB로 전체 정밀도 모델의 9분의 1 미만이며, 종합 벤치마크 성능의 98.2% 를 유지함 언어 모델 전체에 3진 가중치 {−1, 0, +1} 와 FP16 그룹별 스케일링을 적용해 가…

원문 보기 ↗