AMD MI355X에서 Kimi K3를 실행해 B300보다 높은 달러당 성능 달성

← 피드로

2.8조 매개변수 Kimi K3는 가중치만 1.5TB가 넘지만, 8× AMD MI355X 한 노드에서 실행해 총 952 tok/s와 단일 스트림 118 tok/s를 달성함 B300의 총 처리량은 약 1.65배 높지만 MI355X의 GPU 시간당 가격이 약 2.4배 저렴해, 달러당 처리량은 48 tok/s/$로 B300의 …

원문 보기 ↗