Llama-modchip: GPU 없이 64GB RAM에서 284B DeepSeek 실행

#Meta · Llama#DeepSeek#AI 반도체 · GPU

llama-modchip은 모델 압축과 CPU 커널 최적화를 결합해 DeepSeek-V4-Flash 284B를 64GB RAM에서 실행함. 프로젝트 측 측정에서 256K 컨텍스트의 메모리 사용량은 57.61~58.9GiB이며, NVMe 스왑을 사용하지 않음 SwiGLU-H2 압축과 Fractal-64 변환으로 모델 파일을 76.87GiB에서…

원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.