Running 100B+ MoE Models on a Single RTX 4090: A Practical Guide to Expert Offloading with llama.cpp

Tuần này trên Hacker News có một bài hơn 600 điểm: chạy một model MoE 125B tham số trên một con RTX 4090 mà vẫn đạt tốc độ sinh token rất đáng nể. Nghe như chuyện đùa, vì 4090 chỉ có 24GB VRAM, trong khi 125B tham số ở mức quantize 4-bit đã chiếm khoảng 70-75GB. Bí quyết không nằm ở phép màu nào cả, mà ở kiến trúc Mixture of Experts (MoE) và một kỹ thuật gọi là expert offloading. Mình đã thử kỹ thuật này với vài model MoE trên máy cá nhân, và bài này tổng hợp lại những gì thực sự có tác dụng, những gì chỉ tốn thời gian, cùng các lệnh bạn có thể copy về chạy luôn. Với model dense (như Llama 3 7