Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.
Bài 0540phút ước tínhThực chiến · Builder
5. Dựng Cổng Trung Chuyển LiteLLM Proxy Gateway: Quản Lý Tập Trung Hàng Loạt API AI
Tiết kiệm chi phí và quản trị tập trung: Gom API Key OpenAI, Claude, Gemini, DeepSeek về 1 cổng Gateway chuẩn định dạng OpenAI, phân chia hạn mức và theo dõi chi phí.
🎯 4 Lợi Ích Lớn Của LiteLLM Proxy Gateway
- Một định dạng duy nhất: Chuyển đổi mọi model (Claude 3.5 Sonnet, Gemini 1.5 Pro, DeepSeek V3) về chuẩn API OpenAI
/v1/chat/completions. - Cấp phát Virtual API Key: Cấp key riêng cho từng nhân sự / phòng ban kèm hạn mức chi tiêu (Ví dụ: 10$/tháng).
- Tự động dự phòng (Failover & Load Balancing): Nếu OpenAI bị quá tải hoặc nghẽn mạng $ ightarrow$ LiteLLM tự động chuyển sang mô hình Anthropic trong 0.2 giây.
- Theo dõi chi phí thời gian thực: Dashboard trực quan hiển thị số token và số tiền đã sử dụng của từng dự án.
# config.yaml - CẤU HÌNH LITELLM PROXY GATEWAY
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- model_name: claude-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet-20241022
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: deepseek-chat
litellm_params:
model: deepseek/deepseek-chat
api_key: os.environ/DEEPSEEK_API_KEY
# Khởi chạy bằng Docker:
# docker run -d -p 4000:4000 -v $(pwd)/config.yaml:/app/config.yaml ghcr.io/berriai/litellm:main-latest --config /app/config.yaml
Thực hành
Thực hành và tự đánh giá
Khởi chạy một container LiteLLM Proxy trên VPS và gửi lệnh test gọi mô hình Claude thông qua endpoint chuẩn OpenAI trên cổng 4000.
🏢 BẠN MUỐN TRIỂN KHAI CHO CẢ PHÒNG BAN / DOANH NGHIỆP?
Đề Xuất Công Ty Tài Trợ & Đào Tạo In-House Trọn Gói
AI Tinh Gọn hỗ trợ khảo sát hiện trạng, kèm 1-1 on-premise bảo mật dữ liệu, setup hạ tầng riêng và xuất hóa đơn VAT hợp pháp cho doanh nghiệp.
⚖️ Bản quyền sở hữu trí tuệ: © 2026 AI Tinh Gọn (aitinhgon.vn) · Giấy phép Creative Commons CC BY-NC-ND 4.0. Cho phép tự học cá nhân, nghiêm cấm thương mại hóa hoặc bán lại.
Giáo trình mở →
Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.