← 피드로
모든 디코드 단계는 GPU HBM에서 전체 KV 캐시를 로드합니다. 128K 토큰은 수 GB, 1M 토큰은 60GB를 초과합니다. 병목 현상은 컴퓨팅이 아닌 메모리 대역폭입니다. 메모리 버스가 다음과 관련이 없는 데이터를 전송하는 동안 GPU는 대기합니다.
잠금 — 페이지당 SVD 자르기 KV 캐시 읽기 10개 (1M 컨텍스트)
작성자
카테고리:
작성자
카테고리:
모든 디코드 단계는 GPU HBM에서 전체 KV 캐시를 로드합니다. 128K 토큰은 수 GB, 1M 토큰은 60GB를 초과합니다. 병목 현상은 컴퓨팅이 아닌 메모리 대역폭입니다. 메모리 버스가 다음과 관련이 없는 데이터를 전송하는 동안 GPU는 대기합니다.
답글 남기기