1. Dọn thư mục và làm sạch dữ liệu Excel cùng AI Agent

import os
import glob
import pandas as pd

def auto_clean_excel_pipeline(input_folder="./raw_data", output_folder="./cleaned_data"):
    """Tự động quét toàn bộ file Excel trong thư mục và làm sạch chuẩn hóa."""
    os.makedirs(output_folder, exist_ok=True)
    excel_files = glob.glob(f"{input_folder}/*.xlsx") + glob.glob(f"{input_folder}/*.csv")
    
    print(f"🔍 Tìm thấy {len(excel_files)} tệp cần xử lý...")
    summary_report = []

    for file_path in excel_files:
        filename = os.path.basename(file_path)
        df = pd.read_csv(file_path) if file_path.endswith('.csv') else pd.read_excel(file_path)
        initial_rows = len(df)

        # 1. Loại bỏ các dòng và cột hoàn toàn trống
        df = df.dropna(how='all').dropna(axis=1, how='all')

        # 2. Chuẩn hóa tên cột: Viết thường, bỏ khoảng trắng thừa
        df.columns = [str(c).strip().lower().replace(" ", "_") for c in df.columns]

        # 3. Chuẩn hóa ngày tháng về YYYY-MM-DD
        for col in df.columns:
            if 'ngay' in col or 'date' in col or 'time' in col:
                df[col] = pd.to_datetime(df[col], errors='coerce', dayfirst=True).dt.strftime('%d/%m/%Y')

        # 4. Sửa số điện thoại thiếu số 0
        phone_cols = [c for c in df.columns if 'phone' in c or 'sdt' in c or 'thoai' in c]
        for col in phone_cols:
            df[col] = df[col].astype(str).str.replace(r'\D', '', regex=True)
            df[col] = df[col].apply(lambda x: '0' + x if len(x) == 9 else x)

        # 5. Loại bỏ trùng lặp số điện thoại
        if phone_cols:
            df = df.drop_duplicates(subset=phone_cols[0], keep='first')

        # 6. Xuất ra file Excel sạch
        output_file = os.path.join(output_folder, f"clean_{filename}")
        df.to_excel(output_file, index=False)
        cleaned_rows = len(df)
        
        summary_report.append({
            "File": filename,
            "Số dòng gốc": initial_rows,
            "Số dòng sau làm sạch": cleaned_rows,
            "Dòng rác đã lọc": initial_rows - cleaned_rows
        })
        print(f"✓ Đã làm sạch: {filename} (Lọc {initial_rows - cleaned_rows} dòng lỗi)")

    return pd.DataFrame(summary_report)

# auto_clean_excel_pipeline()