onóna: Twin Embeddings with Tied Unembeddings

#AI 반도체 · GPU

Weight tying reduces the parameter cost of language models, but the usual tied output head is limited to a single softmax.

원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.