Giáo trình tự học miễn phí · Dịch vụ hỗ trợ theo nhu cầu.
Bài 0635phút ước tínhCơ bản đến Nâng cao
6. Khai Thác Multimodal Live API (Project Astra): Xử Lý Luồng Video & Âm Thoại Hai Chiều Realtime
Làm chủ Multimodal Live API qua giao thức WebSocket: Xây dựng trợ lý ảo có khả năng vừa xem video trực tiếp từ camera vừa đàm thoại bằng giọng nói tự nhiên.
🎙️ Kiến Trúc Multimodal Live Streaming Của Gemini 2.5
- Two-way WebSocket Audio/Video: Truyền nhận hình ảnh từ camera và giọng nói đàm thoại tức thì.
- Interruption Support: Người dùng có thể nói chèn ngang bất kỳ lúc nào, AI sẽ lập tức ngưng nói để lắng nghe.
- Realtime Tool Calling: AI vừa quan sát camera vừa tự động gọi hàm cập nhật database.
# SƠ ĐỒ KẾT NỐI GEMINI MULTIMODAL LIVE API (WEBSOCKET PYTHON)
import asyncio
from google import genai
async def run_live_assistant():
client = genai.Client(api_key="YOUR_GEMINI_API_KEY", http_options={"api_version": "v1alpha"})
# Kết nối phiên Live WebSocket hai chiều
async with client.aio.live.connect(model="gemini-2.0-flash-exp", config={"response_modalities": ["AUDIO"]}) as session:
print("✅ Đã kết nối Multimodal Live Session!")
# Gửi lời chào khởi động
await session.send(input="Xin chào! Tôi là Trợ lý Giám sát An toàn Lao động AI Tinh Gọn.", end_of_turn=True)
async for response in session.receive():
if response.server_content:
# Nhận luồng âm thanh thoại trả về
pass
asyncio.run(run_live_assistant())
Thực hành
Thực hành và tự đánh giá
Truy cập Google AI Studio Live Sandbox, bật camera và micro, trò chuyện với Gemini về một đồ vật bạn đang cầm trên tay.
🏢 BẠN MUỐN TRIỂN KHAI CHO CẢ PHÒNG BAN / DOANH NGHIỆP?
Đề Xuất Công Ty Tài Trợ & Đào Tạo In-House Trọn Gói
AI Tinh Gọn hỗ trợ khảo sát hiện trạng, kèm 1-1 on-premise bảo mật dữ liệu, setup hạ tầng riêng và xuất hóa đơn VAT hợp pháp cho doanh nghiệp.
⚖️ Bản quyền sở hữu trí tuệ: © 2026 AI Tinh Gọn (aitinhgon.vn) · Giấy phép Creative Commons CC BY-NC-ND 4.0. Cho phép tự học cá nhân, nghiêm cấm thương mại hóa hoặc bán lại.
Giáo trình mở →
Tiến độ tự học lưu trên trình duyệt này. Chỉ đánh dấu khi đã kiểm tra sản phẩm thực hành.