Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.

Bài 0225phút ước tínhCơ bản · Khởi đầu 0đ

2. Giải Mã Bản Chất LLM: Token, Context Window & Temperature

Hiểu cách LLM tư duy dưới dạng Token, cơ chế đoán từ tiếp theo và các thông số kỹ thuật cốt lõi.

🧩 3 Thuật Ngữ Sống Còn Khi Sử Dụng LLM

Token: Đơn vị cơ bản mà AI dùng để đọc và ghi văn bản. 1 Token $\approx$ 0.75 từ tiếng Anh, hoặc $\approx$ 1-2 ký tự tiếng Việt có dấu. Một đoạn văn 100 từ tiếng Việt có thể tốn khoảng 150-180 tokens.
Context Window (Cửa sổ ngữ cảnh): Dung lượng bộ nhớ làm việc trong một phiên trò chuyện. Ví dụ: GPT-4o có 128k tokens, Claude 3.5 có 200k tokens, Gemini 2.0 có 1M-2M tokens (tương đương đọc cả cuốn sách dày 1.000 trang trong 1 lần hỏi).
Temperature (Nhiệt độ sáng tạo): Dao động từ $0.0$ đến $1.0$ (hoặc $2.0$):
Temp = 0.0 - 0.2: Nghiêm ngặt, chính xác, logic (dùng cho lập trình, tính toán, trích xuất dữ liệu).
Temp = 0.7 - 0.9: Cân bằng, tự nhiên (dùng cho viết lách, dịch thuật, trả lời chung).
Temp = 1.0+: Rất sáng tạo, bay bổng (dùng cho brainstorming, làm thơ, viết kịch bản).

 example.py
# MINH HỌA CẤU HÌNH THAM SỐ GỌI API LLM CHUẨN
{
  "model": "claude-3-5-sonnet-20241022",
  "temperature": 0.2,       # Giảm ngẫu nhiên để xuất dữ liệu JSON chuẩn
  "max_tokens": 4096,        # Số token tối đa câu trả lời được phép sinh ra
  "top_p": 0.95,             # Giới hạn tập xác suất từ có nghĩa
  "system": "Bạn là chuyên gia phân tích dữ liệu trung thực, chỉ dựa vào sự thật."
}

Thực hành

Thực hành và tự đánh giá

Kiểm tra số lượng Token của một đoạn email công việc bằng công cụ OpenAI Tokenizer (https://platform.openai.com/tokenizer) và quan sát cách tiếng Việt được bẻ thành từng mảnh token.

Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.