BÀI VIẾT

Dịch giọng nói realtime với Gemini Live và LiveKit: những gì bài hướng dẫn bỏ qua

Tôi dựng lại bài hướng dẫn dịch realtime bằng Gemini Live của Google thành một sản phẩm có thể tự chạy cho khoảng 100 người nghe thường xuyên. Bài này nói về những gì bản demo làm đúng, bảy lỗ hổng phải vá, chi phí và kết quả đo được.

Đọc cùng AI

Chọn nội dung để sao chép và dán vào trợ lý AI. Không tự gửi dữ liệu. Nội dung CMS được chuyển sang Markdown; dùng Markdown gốc nếu có.

Bài hướng dẫn của Google khiến việc dịch giọng nói trực tiếp trông như một dự án cuối tuần, và phần lõi đúng là như vậy: khoảng 2,21 USD mỗi giờ cho mỗi ngôn ngữ, một WebSocket, một model. Điều bài hướng dẫn bỏ qua là mọi thứ quyết định sản phẩm có sống sót sau một lần deploy lại, một người lạ tò mò có đường link, hay một buổi nói chuyện 40 phút. Tôi dựng lại nó thành một sản phẩm nhỏ tên là Earshot, nhắm đến khoảng 100 người nghe thường xuyên, và đây là những gì tôi học được.

Bài hướng dẫn dựng cái gì

Bài hướng dẫn của Thor Schaeff thuộc Google DeepMind (mã nguồn) dựng một buổi phát một-đến-nhiều. Người chủ trì nói; mỗi người nghe chọn một ngôn ngữ và nghe bản dịch bằng giọng nói ngay lúc đó. Toàn bộ ứng dụng là một dự án Next.js:

  1. Người chủ trì phát âm thanh micro vào một room của LiveKit.
  2. Người nghe vào cùng room và chọn ngôn ngữ.
  3. Backend khởi động một bridge dịch cho ngôn ngữ đó nếu chưa có. Bridge vào room dưới dạng một bot tên translator-<lang>.
  4. Bridge đọc âm thanh của người chủ trì theo từng khung 100 ms và đẩy qua WebSocket đến model Gemini Live gemini-3.5-live-translate-preview.
  5. Gemini trả về âm thanh đã dịch ở 24 kHz. Bridge phát nó thành một track riêng, và người nghe chỉ subscribe đúng track đó.

Có hai lựa chọn thiết kế trong mã nguồn đáng giữ nguyên. Mỗi ngôn ngữ chỉ có một bridge chứ không phải mỗi người nghe một bridge, nên năm mươi người nghe tiếng Tây Ban Nha chỉ tốn một phiên Gemini. Người nghe kết nối với autoSubscribe: false và chỉ subscribe một track của translator, nên không ai phải tải các ngôn ngữ còn lại.

Ý tưởng cốt lõi là tách hai đường truyền. WebRTC chở âm thanh giữa con người và room, nơi độ trễ và mất gói là vấn đề thật. Một WebSocket thường chở âm thanh giữa server và Gemini, nơi mạng ổn định.

Bản demo dừng ở đâu so với production

Bài hướng dẫn là một bản demo, và chính tác giả nói vậy trong phần bình luận. Có bảy lỗ hổng trở nên quan trọng khi có người thật phụ thuộc vào nó.

Lỗ hổngTrong bản demoVì sao gây hại
Singleton trong bộ nhớMọi bridge nằm trong một map toàn cục, số người nghe được đếm qua các lệnh gọi APIKhởi động lại là quên hết bridge; người nghe chỉ còn im lặng cho đến khi chọn lại ngôn ngữ
Chỉ một instance--max-instances 1, được giữ ấm bằng một lệnh poll từ trình duyệt mỗi 3 giâyInstance thứ hai sẽ thêm bot translator trùng lặp vào mọi room
Giới hạn của Cloud RunRequest tối đa 60 phút, báo trước 10 giây khi tắtSự kiện dài bị cắt; mỗi lần deploy làm đứt các phiên đang chạy
Trang người nghe để mởAi có link cũng khởi động được bất kỳ ngôn ngữ nàoMỗi ngôn ngữ là một phiên Gemini tính tiền, nên đường link là một nút tiêu tiền
Không có trần chi tiêuKhông giới hạn theo room, theo tổng, hay theo ngàyMột room bận rộn hoặc bị lạm dụng quyết định hóa đơn
Rò số người ngheKhi đóng tab, trình duyệt gọi một route hủy đăng ký mà repo không định nghĩaSố đếm không bao giờ về không, nên bridge cứ chạy và cứ tính tiền
Xử lý phiênKết nối lại bằng resumption handleMột báo cáo từ production đo được tỷ lệ dịch đạt giảm từ 98% xuống 65% khi dùng resumption, kèm những đoạn im lặng từ 8 đến 51 giây

Hai điểm lệch nhỏ hơn: bản demo gửi âm thanh 48 kHz trong khi tài liệu Live Translate quy định 16 kHz, và nó truyền system instruction trong khi tài liệu nói model không nhận.

Tôi đã thay đổi gì

Ở quy mô này một instance luôn bật là đủ, với điều kiện nó có thể mất toàn bộ bộ nhớ bất cứ lúc nào mà vẫn tự hồi phục. Mọi thứ khác xuất phát từ đó.

Trạng thái nằm ở LiveKit, không nằm trong process. Mỗi người nghe tự đặt thuộc tính language trên participant của mình. Một vòng lặp supervisor đọc các room và thuộc tính mỗi 1,5 giây, rồi bật hoặc tắt bridge cho khớp. Sau một lần crash hoặc deploy, nó dựng lại đúng bức tranh đó từ đầu. Không còn số đếm nào để rò, vì không có gì đếm cả.

Bản thân quyết định là một hàm thuần: đầu vào là các room và ngôn ngữ của người nghe, đầu ra là các bridge cần bật và cần tắt. Nhờ vậy mọi giới hạn đều kiểm thử được mà không cần mạng.

Phiên Gemini là thứ dùng xong bỏ. API đóng kết nối sau khoảng mười phút. Bridge mở một socket mới mỗi 8 phút, và cả khi nhận goAway, khi kết nối đóng bất ngờ, và khi 20 giây có tiếng nói mà không có âm thanh dịch trả về. Nó không bao giờ dùng session resumption: việc dịch không cần lịch sử, và báo cáo production duy nhất tôi tìm được cho thấy resumption làm giảm chất lượng.

Bridge tự chữa. Bridge không nhận được âm thanh của người chủ trì trong 10 giây sẽ subscribe lại. Sau ba lần thử nó tự dừng, và supervisor thay bằng bridge mới.

Chi tiêu có trần. Token của người nghe chỉ được subscribe và đặt thuộc tính của chính mình. Một ngôn ngữ chỉ được bật nếu room có cung cấp ngôn ngữ đó và có người chủ trì. Ba giới hạn chỉnh được lúc đang chạy: số ngôn ngữ mỗi room, số ngôn ngữ chạy cùng lúc, và số phút-ngôn ngữ mỗi ngày.

Khoảng trống ngắn không gây xáo trộn. Một ngôn ngữ tiếp tục chạy 20 giây sau khi người nghe cuối cùng rời đi, đủ cho việc tải lại trang và đổi ngôn ngữ.

Chi phí

Google tính giá model ở mức 0,0368 USD mỗi phút cho một ngôn ngữ đích (bảng giá, xem ngày 6/11/2026). Mỗi ngôn ngữ là một phiên riêng, nên chi phí tăng theo số ngôn ngữ và số giờ phát, không tăng theo số người nghe.

Monthly line (USD)CostBasis
Gemini Live Translate, 300 language-hoursAbout 6622.21 per language-hour, upper bound
LiveKit Cloud Ship plan50Includes 150,000 WebRTC minutes (pricing)
App and bridge, one small always-on instanceAbout 30 to 501 vCPU, 1 GiB
TotalAbout 740 to 760Roughly 7.50 per broadcast hour

Đó là 100 giờ phát bằng ba ngôn ngữ cho 100 người nghe. Khoảng 90% là tiền Gemini, và điều này dẫn đến hai hệ quả. Giới hạn số ngôn ngữ mỗi room vừa là chốt an toàn vừa là công cụ định giá. Và việc tự host LiveKit chỉ tiết kiệm được nhiều nhất là dòng nhỏ nhất trên hóa đơn.

Kết quả đo được

Tôi kiểm thử trên một máy với LiveKit server chạy cục bộ. Một script đầu-cuối điều khiển một người chủ trì và một người nghe giả lập qua WebRTC thật, rồi kiểm tra rằng translator vào room, âm thanh và phụ đề đến nơi, ngôn ngữ thứ hai được bật khi đổi, ngôn ngữ ngoài danh sách bị từ chối, và các bridge dừng sau khi người nghe cuối cùng rời đi.

Với engine Gemini và một mẫu giọng nói tiếng Anh do máy tổng hợp:

  • Âm thanh dịch đầu tiên đến sau khoảng 3,3 giây kể từ lúc bắt đầu nói.
  • Translator vào room sau 1,5 đến 1,8 giây kể từ khi người nghe chọn ngôn ngữ.
  • Một đoạn hướng dẫn an toàn bằng tiếng Anh dài 19,8 giây được dịch sang tiếng Việt đúng nghĩa từng câu.
  • Các bridge dừng 18 giây sau khi người nghe cuối cùng rời đi.

Có một bài học làm tôi mất một tiếng. Trên máy có nhiều card mạng, LiveKit quảng bá một địa chỉ VPN, và bridge mất đến 10 giây mới vào được room hoặc không bao giờ nhận được âm thanh. Cố định --node-ip là hết. Địa chỉ LiveKit quảng bá phải là địa chỉ mà mọi client đều tới được.

Bài học thứ hai: model im lặng khi đầu vào là một tiếng tone thử. Script đầu-cuối đầu tiên của tôi phát một sóng sine 440 Hz; cách đó dùng được với engine loopback nhưng không chứng minh được gì về việc dịch. Kiểm thử với engine thật cần giọng nói thật.

Những gì chưa được chứng minh

Rủi ro lớn nhất nằm ở model chứ không nằm ở code. gemini-3.5-live-translate-preview vẫn là bản preview, không nhận glossary hay instruction, và tôi chưa tìm thấy bài kiểm tra chất lượng độc lập nào cho tiếng Việt, tiếng Hàn hay tiếng Thái.

Phần kiểm thử của tôi còn hẹp. Tôi chưa chạy phiên nào đủ dài để đi qua một lần đổi socket khi đang có tiếng nói thật, chưa dùng micro thật hay giọng người thật, chưa build container image, và chưa deploy ở đâu cả. Earshot là một bản dựng lại chạy được trên máy của tôi, chưa phải một dịch vụ đã ra mắt.

Nếu bạn bắt đầu từ cùng bài hướng dẫn đó, thứ tự tôi đề xuất là: đưa trạng thái bridge ra khỏi process trước, đặt trần chi tiêu sau, và coi mọi phiên Gemini là thứ sẽ kết thúc mà không báo trước. Phần dịch là phần bạn không còn phải tự xây nữa.

Thảo luận

Bình luận được duyệt trước khi công khai. Email của bạn được giữ riêng tư.

← Về danh sáchRead in English