Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.

Bài 0735phút ước tínhCơ bản đến Nâng cao

7. Bảo Mật & Quản Trị Chi Phí OpenAI API: LiteLLM Router, Batch API Giảm 50% & Rate Limiting

Kiểm soát ngân sách token của toàn bộ công ty: Sử dụng OpenAI Batch API giảm 50% chi phí cho tác vụ qua đêm và triển khai LiteLLM Proxy cấp Virtual Key cho từng team.

📉 2 Tuyệt Chiêu Cắt Giảm Chi Phí OpenAI API

OpenAI Batch API: Với các tác vụ xử lý hàng loạt không cần realtime (quét 10,000 hồ sơ qua đêm, tóm tắt kho tài liệu), Batch API giảm ngay 50% chi phí và hoàn thành trong vòng 24 giờ.
LiteLLM Virtual Keys: Cấp API Key ảo có hạn mức (ví dụ: Team Marketing tối đa 50$/tháng), tự động khóa khi vượt ngân sách.

 example.py
# CẤU HÌNH LITELLM PROXY ROUTER (litellm_config.yaml)
model_list:
  - model_name: gpt-smart
    litellm_params:
      model: openai/gpt-4.5-preview
      api_key: os.environ/OPENAI_API_KEY
      rpm: 500

  - model_name: o3-reasoning
    litellm_params:
      model: openai/o3-mini
      api_key: os.environ/OPENAI_API_KEY

  - model_name: gpt-cheap
    litellm_params:
      model: openai/gpt-4o-mini
      api_key: os.environ/OPENAI_API_KEY

general_settings:
  master_key: sk-MasterKeyAITinhGon2026
  database_url: postgresql://litellm:password@db:5432/litellm_db

Thực hành

Thực hành và tự đánh giá

Tạo một Batch Request chứa 5 câu hỏi phân tích dữ liệu, gửi lên OpenAI Batch API và tải kết quả trả về sau khi hoàn tất.

Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.