Open WebUI và Ollama: thử phòng làm việc AI nội bộ trước khi mua GPU

Hiểu ý tưởng trong một phút

Một nhóm nhỏ muốn dùng AI để sửa câu chữ và tóm tắt ghi chú nội bộ, nhưng chưa biết có cần mua máy GPU hay không. Đề xuất là dựng một phòng thử có đăng nhập, chọn một mô hình chạy cục bộ phù hợp và đo trên tác vụ thật đã được phép dùng. Open WebUI là giao diện; Ollama là một lựa chọn chạy mô hình. Hai tên công cụ không tự chứng minh chất lượng, riêng tư hoặc hiệu quả kinh tế. Đây là kế hoạch thử nghiệm, không phải server đã được cài và đo trong bài.

Hai công cụ làm gì?

Quickstart Open WebUI hướng dẫn triển khai và kết nối Ollama. Có thể hiểu giao diện là nơi người dùng đặt câu hỏi, còn server mô hình tạo câu trả lời. Nếu kết nối một API bên ngoài, dữ liệu có thể đi ra ngoài dù giao diện nằm trên máy riêng. Vì thế, bước đầu là vẽ đúng đường đi từ trình duyệt tới backend, mô hình, plugin và nơi lưu log. Đừng dùng chữ “self-host” thay cho kiểm tra đường đi dữ liệu.

Chọn tác vụ trước, chọn mô hình sau

Chọn ba việc nhỏ: viết lại một đoạn mô tả sản phẩm, tóm tắt biên bản giả lập và chuyển ghi chú thành checklist. Chuẩn bị đáp án hoặc tiêu chí tốt cho từng việc. Trong lượt đầu, chưa bật đọc web, upload dữ liệu khách hàng hoặc công cụ có quyền ghi. Người dùng cần hiểu AI có thể viết mượt nhưng bỏ mất ý. Nếu tác vụ cần tra cứu chính sách, bổ sung nguồn và cách kiểm tra riêng; một cửa sổ chat không tự có kiến thức nội bộ của công ty.

Ví dụ một tác vụ có thể kiểm tra

Ghi chú mẫu có ba việc: Mai chuẩn bị demo trước thứ Ba; Nam xác nhận dữ liệu; cả nhóm họp lúc 14 giờ. Kết quả tốt là checklist giữ đúng người, việc và thời hạn, đồng thời đánh dấu thông tin chưa rõ. Nếu AI tự thêm người chịu trách nhiệm hoặc đổi thời gian, coi đó là lỗi. Dùng mẫu giả lập này trước để không cần đưa tài liệu nhạy cảm vào lượt thử. Nhân viên vẫn kiểm tra đầu ra trước khi dùng làm cam kết với khách.

Thử trên máy hiện có

Chạy khoảng 15 tác vụ đã chuẩn bị, một người dùng trước rồi mới tăng lên số người đồng thời dự kiến. Ghi thời gian bắt đầu phản hồi, thời gian hoàn tất, RAM/VRAM và số câu trả lời phải sửa. Cỡ mẫu này chỉ để tìm giới hạn ban đầu. Không suy từ kích thước model ra tốc độ chắc chắn: lượng ngữ cảnh, cấu hình và tải đồng thời đều cần đo. Nếu máy hiện tại chậm nhưng chất lượng hữu ích, đó mới là lúc thử cấu hình lớn hơn hoặc thuê một môi trường đo ngắn hạn.

Các bước dựng bản thử

Làm theo quickstart chính thức, chọn phiên bản đã kiểm tra và dùng volume dữ liệu bền vững. Tạo tài khoản quản trị trước, sau đó giới hạn người tham gia theo phạm vi thử. Nối tới model server trên mạng riêng và chỉ bật những tính năng cần thiết. Với nhu cầu cục bộ, FAQ Ollama hướng dẫn tắt tính năng cloud bằng OLLAMA_NO_CLOUD=1 rồi khởi động lại. Kiểm tra log và lưu lượng mạng thực tế; tùy chọn của Ollama không tự tắt mọi API hoặc plugin của giao diện.

Góc kỹ thuật: ranh giới mạng và dữ liệu

Không đưa cổng model server ra Internet để tiện thử. Đặt giao diện sau lớp xác thực và HTTPS phù hợp; hạn chế ai được thêm kết nối hoặc plugin. Tách lịch sử chat thử với tài liệu dùng chung, quy định thời gian lưu và người có quyền đọc log. Sao lưu volume và thử khôi phục trên môi trường riêng trước khi coi dữ liệu đã an toàn. Ghi phiên bản UI, model, cấu hình và bộ tác vụ để so sánh công bằng sau mỗi lần nâng cấp. Những kiểm soát này phải được xác minh ở bản triển khai thực tế.

Giấy phép và chi phí thực tế

Đọc giấy phép Open WebUI hiện hành trước khi đổi thương hiệu hoặc đóng gói thành dịch vụ: có điều kiện bảo vệ branding. Giấy phép model là một lớp riêng, cần kiểm tra theo model được chọn. Dự toán không chỉ gồm GPU: tính điện, ổ lưu trữ, sao lưu, theo dõi, cập nhật và công quản trị. Với nhóm dùng ít, chưa có cơ sở khẳng định server riêng rẻ hơn dịch vụ khác. Dùng số liệu đo của nhóm để so sánh tổng chi phí và chất lượng đạt yêu cầu.

Mở rộng khi đã có bằng chứng

Tiếp tục nếu người dùng hoàn thành tác vụ tốt hơn, thời gian sửa hợp lý và tải đồng thời nằm trong khả năng vận hành. Dừng nếu mô hình thường bỏ dữ kiện quan trọng hoặc công quản trị vượt lợi ích. Một hướng mở rộng sáng tạo là bộ mẫu tác vụ theo vai trò: marketing, vận hành và hỗ trợ, mỗi mẫu có dữ liệu đầu vào, ví dụ đầu ra tốt và tiêu chí kiểm tra. Đó là cách chia sẻ cách làm hiệu quả hơn việc đưa mọi người vào một ô chat trống rồi kỳ vọng họ tự biết dùng AI.

Bước tiếp theo

Nếu có một quy trình tương tự, bắt đầu bằng đánh giá cơ hội AI để chọn phạm vi và tiêu chí thử. Khi đã rõ đầu vào, đầu ra và cách kiểm tra, xem dịch vụ xây AI MVP để đưa ý tưởng thành bản mẫu có thể đánh giá.

Nguồn và phạm vi kiểm chứng

Nguồn gốc được kiểm tra ngày 10/10/2026. Tình huống, cỡ mẫu, kiến trúc và cách kinh doanh là đề xuất biên tập; bài không tuyên bố benchmark hay kết quả khách hàng.

Open WebUI — Quickstart

Ollama — FAQ

License / Giấy phép