Ý TƯỞNG, QUYẾT ĐỊNH & BÀI HỌC
Ghi chép về AI, kiến trúc và xây dựng sản phẩm từ thực tế.
7 bài viết
11 Sep 2026 · 5 phút đọc
agentic coding
Inception Labs ra mắt Mercury 2.5 ngày 8/9, đạt 1.107 tok/s trên GPU NVIDIA tiêu chuẩn — gấp 10 lần model autoregressive thông thường — bằng cách sinh văn bản kiểu diffusion ảnh thay vì từng token một. Ý nghĩa với kiến trúc agent bị giới hạn bởi độ trễ.
Đọc tiếp07 Sep 2026 · 6 phút đọc
ai
Nemotron 3 Ultra kết hợp các lớp Mamba (state-space) với attention của transformer và một bộ định tuyến mixture-of-experts để đạt context 1 triệu token với throughput gấp 5 lần các mô hình dense tương đương. Góc nhìn Tech Lead về kiến trúc này và nơi nó thay đổi bài toán chi phí triển khai agent.
Đọc tiếp19 Aug 2026 · 7 phút đọc
agentic coding
GPT-5.6 Sol Ultrafast của OpenAI, chạy trên Wafer-Scale Engine của Cerebras, đạt 750 token đầu ra/giây — nhanh gấp 14 lần inference tiêu chuẩn. Tôi tìm hiểu vì sao SRAM on-chip thắng HBM trong bài toán này, và nó thay đổi gì trong cách thiết kế sản phẩm agent nhạy cảm với độ trễ.
Đọc tiếp10 Jun 2026 · 5 phút đọc
ai
Google ra mắt Gemini 3.5 Flash GA với tốc độ inference nhanh hơn 4x so với model frontier cạnh tranh, context window 1M token, và giá $1.50/$9. Model vượt qua cả Gemini 3.1 Pro trên benchmark coding và agentic. Đây là đánh giá thực tế.
Đọc tiếp10 Jun 2026 · 6 phút đọc
ai
Nghiên cứu TurboQuant của Google giảm memory overhead KV cache ~100x bằng thuật toán hai bước kết hợp PolarQuant vector rotation và Johnson-Lindenstrauss compression. Điều này có thể làm cho model context 2M token trở nên khả thi kinh tế với nhiều team hơn.
Đọc tiếp05 Apr 2026 · 6 phút đọc
ai
Model 8B chạy trong 1GB RAM, chạy ngay trên iPhone, vẫn cạnh tranh được với model full-precision. Bonsai của PrismML thay đổi phép tính edge AI. Phân tích kỹ thuật chi tiết.
Đọc tiếp21 Mar 2026 · 7 phút đọc
architecture
Một paper mới từ Google chỉ ra cuộc khủng hoảng thật sự của AI không phải training — mà là inference. Hardware chưa bao giờ được thiết kế cho việc này. Đây là những gì tôi học được sau khi tối ưu inference cost cho production workloads.
Đọc tiếp
