Nền tảng phục vụ và điều phối mô hình AI dạng dịch vụ (tương đương Amazon Bedrock)

Các năng lực AI và mini-app cần một cách thức thống nhất, an toàn để gọi và điều phối nhiều mô hình AI: chọn mô hình phù hợp, kiểm soát hạn mức, ghi vết, lọc nội dung, bảo vệ dữ liệu đầu vào. Đây là vai trò của một nền tảng phục vụ mô hình dạng dịch vụ như Amazon Bedrock — cổng chung để ứng dụng dùng AI mà không phải tự vận hành từng mô hình.

Về nghiệp vụ: cung cấp một 'cổng mô hình' nội bộ — nơi các dịch vụ VNeID và mini-app gọi AI qua giao diện chuẩn, có kiểm soát truy cập, hạn mức, ghi vết và kiểm duyệt nội dung, không cần biết chi tiết mô hình bên dưới. Về kỹ thuật: xây dựng trên các bộ phục vụ mô hình nguồn mở (vLLM, Triton Inference Server, KServe/ Ray Serve trên Kubernetes) kết hợp một cổng AI (AI gateway) thực thi chính sách; danh mục mô hình gồm các mô hình tiếng Việt trong nước (Giải pháp 01) và mô hình nguồn mở tự lưu trữ; toàn bộ suy luận chạy trên hạ tầng GPU trong nước (Giải pháp 03). Nền tảng: các doanh nghiệp trong nước đã cung cấp mô hình dạng dịch vụ (FPT AI, GreenNode với mô hình tiếng Việt và AI Factory, Viettel AI), nền công nghệ phục vụ mô hình là nguồn mở.

Phương thức áp dụng: mọi lời gọi AI trong hệ sinh thái VNeID đi qua cổng mô hình nội bộ, cho phép thay thế/ nâng cấp mô hình mà không sửa ứng dụng, và áp đặt chính sách an toàn thống nhất. Mục tiêu cụ thể: quản trị tập trung việc dùng AI trên toàn hệ sinh thái, bảo đảm dữ liệu đầu vào không rời hạ tầng trong nước, và kiểm soát được chi phí, hạn mức, chất lượng đầu ra cho từng mini-app.