논문해외
계층적 교차 레이어 KV 재구성을 통한 구조 정규화 DepthGraft
원제 · DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
HF Daily Papers
대형 언어 모델의 깊이가 깊어짐에 따라 발생하는 정보 희석 문제를 완화하기 위해 교차 레이어 KV 재구성 구조 정규화 기술을 제안한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Scaling depth is a key route to stronger large language models, but Pre-LN architectures often suffer from depth-wise information dilution, limiting the effective use of deep layers.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.