Lộ trình cá nhânGoogle AI & Gemini Ecosystem: Làm Chủ Gemini 2.5 Pro, Gemini 2.5 Flash, Multimodal Live API, Gemma 3 & DeepMind Agent Tooling
6/8

Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.

Bài 0635phút ước tínhCơ bản đến Nâng cao

6. Khai Thác Multimodal Live API (Project Astra): Xử Lý Luồng Video & Âm Thoại Hai Chiều Realtime

Làm chủ Multimodal Live API qua giao thức WebSocket: Xây dựng trợ lý ảo có khả năng vừa xem video trực tiếp từ camera vừa đàm thoại bằng giọng nói tự nhiên.

🎙️ Kiến Trúc Multimodal Live Streaming Của Gemini 2.5

  • Two-way WebSocket Audio/Video: Truyền nhận hình ảnh từ camera và giọng nói đàm thoại tức thì.
  • Interruption Support: Người dùng có thể nói chèn ngang bất kỳ lúc nào, AI sẽ lập tức ngưng nói để lắng nghe.
  • Realtime Tool Calling: AI vừa quan sát camera vừa tự động gọi hàm cập nhật database.
example.py
# SƠ ĐỒ KẾT NỐI GEMINI MULTIMODAL LIVE API (WEBSOCKET PYTHON)
import asyncio
from google import genai

async def run_live_assistant():
    client = genai.Client(api_key="YOUR_GEMINI_API_KEY", http_options={"api_version": "v1alpha"})
    
    # Kết nối phiên Live WebSocket hai chiều
    async with client.aio.live.connect(model="gemini-2.0-flash-exp", config={"response_modalities": ["AUDIO"]}) as session:
        print("✅ Đã kết nối Multimodal Live Session!")
        
        # Gửi lời chào khởi động
        await session.send(input="Xin chào! Tôi là Trợ lý Giám sát An toàn Lao động AI Tinh Gọn.", end_of_turn=True)
        
        async for response in session.receive():
            if response.server_content:
                # Nhận luồng âm thanh thoại trả về
                pass

asyncio.run(run_live_assistant())
Thực hành

Thực hành và tự đánh giá

Truy cập Google AI Studio Live Sandbox, bật camera và micro, trò chuyện với Gemini về một đồ vật bạn đang cầm trên tay.

⚖️ Bản quyền sở hữu trí tuệ: © 2026 AI Tinh Gọn (aitinhgon.vn) · Giấy phép Creative Commons CC BY-NC-ND 4.0. Cho phép tự học cá nhân, nghiêm cấm thương mại hóa hoặc bán lại. Giáo trình mở →

Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.