GigaToken – 언어 모델 토큰화를 약 1,000배 가속

← 피드로

Gigatoken은 다양한 CPU와 널리 쓰이는 토크나이저를 지원하며, 텍스트를 GB/s 단위로 처리하는 HuggingFace Tokenizers·Tiktoken 대체 도구임 정규식 엔진이 맡던 사전 토큰화를 SIMD로 최적화하고 분기·스레드 통신·Python 상호작용을 줄이며, 이전에 본 단어의 …

원문 보기 ↗