07 Sep 2026 · 6 phút đọc
ai
NVIDIA Nemotron 3 Ultra: Kiến trúc lai Mamba-Transformer MoE mang lại gì thực sự cho production
Nemotron 3 Ultra kết hợp các lớp Mamba (state-space) với attention của transformer và một bộ định tuyến mixture-of-experts để đạt context 1 triệu token với throughput gấp 5 lần các mô hình dense tương đương. Góc nhìn Tech Lead về kiến trúc này và nơi nó thay đổi bài toán chi phí triển khai agent.
Đọc tiếp







