엔비디아 "LLM에 긴 문맥 꼭 필요하지 않아"…압축해도 성능 유지

#NVIDIA

엔비디아 연구진이 대형언어모델(LLM)에 무조건 긴 컨텍스트 창이 필요한 것은 아니라는 연구 결과를 발표했다. 대화 기록을 압축하거나 대용량 문서에서 필요한 부분만 읽도록 하면 짧은 문맥에서도 상당수 작업의 성능을 유지할 수 있으며, 추론 처리량도 크게 높일 수 있다는 것이다.

원문의 저작권은 AI타임스에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.