LLM이 5학년 이후의 학습 자료를 전혀 보지 못하면 어떻게 될까?

← 피드로

LittleLearner는 미국 초등학교 K–5 교육과정으로 제한한 880억 토큰 말뭉치만으로 처음부터 훈련해, 사전학습 지식의 경계가 모델 능력에 미치는 영향을 검증함 FineWeb-Edu를 Common Core 기준의 5단계 파이프라인으로 필터링하고, 5학년 이후의 개념·사실·어휘를 명시적으로 제외…

원문 보기 ↗