← 피드로
어텐션만 사용하는 0~2층 Transformer를 토큰에서 출력 로짓까지 이어지는 계산 경로로 분해해, 가중치에서 모델의 동작을 읽어내는 기계적 해석 가능성 프레임워크를 구축함 어텐션 헤드를 어디서 정보를 가져올지 결정하는 QK 회로와 가져온 정보가 출력에 미치는…
출처: news.hada.io · https://news.hada.io/topic?id=33675