1.58비트(BitNet) 언어 모델을 실행하는 ESP32S3 클러스터

← 피드로

ESP32S3 7대에 0.5B 언어 모델을 분할해 실행하는 분산 파이프라인 추론 엔진임 마스터 1대와 연산 노드 6대로 구성되며, 마스터는 토큰화와 임베딩을, 연산 노드는 어텐션과 MLP를 처리함 노드 간에는 고속 SPI 데이지 체인으로 은닉 상…

원문 보기 ↗