Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.
2. LiteLLM Proxy: Cổng Quản Lý & Cân Bằng Tải Hàng Loạt Mô Hình AI Tập Trung
Tập trung hóa quản trị API: Thống nhất các nhà cung cấp OpenAI, Claude, Gemini, DeepSeek về một chuẩn chung, phân bổ hạn mức Token và dự phòng lỗi (Failover).
Khi hệ thống có nhiều Agent hoạt động liên tục, việc quản lý hàng chục API Key rời rạc rất dễ gây tắc nghẽn và vượt ngân sách. LiteLLM Proxy hoạt động như một trung tâm điều phối giao thông thông minh.
🎯 Lợi Ích Của Cổng Trung Chuyển LiteLLM
- Failover Tự Động: Nếu OpenAI gặp sự cố mạng, LiteLLM tự động chuyển request sang Claude Sonnet trong $0.2$ giây mà không làm gián đoạn công việc của người dùng.
- Virtual Keys & Rate Limiting: Cấp key riêng cho từng phòng ban và giới hạn số tiền chi tiêu tối đa mỗi tháng.
- Logging & Analytics: Theo dõi chính xác từng Agent đã tiêu tốn bao nhiêu USD mỗi ngày.
# config.yaml - CẤU HÌNH QUẢN TRỊ MODEL TRONG LITELLM
model_list:
- model_name: smart-curator
litellm_params:
model: anthropic/claude-3-5-sonnet-20241022
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: fast-worker
litellm_params:
model: openai/gpt-4o-mini
api_key: os.environ/OPENAI_API_KEY
- model_name: deep-reasoning
litellm_params:
model: deepseek/deepseek-reasoner
api_key: os.environ/DEEPSEEK_API_KEY
Thực hành và tự đánh giá
Cài đặt LiteLLM Proxy, khai báo 3 model khác nhau và trỏ Hermes Agent kết nối qua cổng 4000 của LiteLLM.
AI Tinh Gọn hỗ trợ khảo sát hiện trạng, kèm 1-1 on-premise bảo mật dữ liệu, setup hạ tầng riêng và xuất hóa đơn VAT hợp pháp cho doanh nghiệp.
Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.