Mercury 2.5 và Canh Bạc Diffusion LLM: 1.107 Token/Giây Thay Đổi Bài Toán UX Của Agent
Inception Labs ra mắt Mercury 2.5 ngày 8/9, đạt 1.107 tok/s trên GPU NVIDIA tiêu chuẩn — gấp 10 lần model autoregressive thông thường — bằng cách sinh văn bản kiểu diffusion ảnh thay vì từng token một. Ý nghĩa với kiến trúc agent bị giới hạn bởi độ trễ.