논문해외
MoE 기반 다중모달 대형 언어 모델을 위한 모달리티 인지 전문가 프루닝 기법
원제 · Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models
HF Daily Papers
MoE 기반 MLLM에서 메모리를 많이 차지하는 전문가 파라미터를 효율적으로 줄이기 위한 모달리티 인지 프루닝 연구를 제시한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Mixture-of-Experts (MoE) enables multimodal large language models (MLLMs) to scale capacity efficiently, but expert parameters dominate memory even though only a few experts are activated per token…
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.