大模型应用：K-Means/LDA + 混元大模型：无监督文本自动打标完整方案.85

# 导入所需库
import pandas as pd
import jieba
import re
import matplotlib.pyplot as plt
import seaborn as sns
from wordcloud import WordCloud
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.decomposition import LatentDirichletAllocation
from sklearn.metrics import silhouette_score
from openai import OpenAI
# from dotenv import load_dotenv
import os

# 配置环境（解决中文显示问题）
plt.rcParams['font.sans-serif'] = ['SimHei']  # 显示中文
plt.rcParams['axes.unicode_minus'] = False    # 显示负号

# 加载环境变量（存储大模型API密钥）
# load_dotenv()
# openai.api_key = os.getenv("OPENAI_API_KEY")  # 替换为你的API密钥，或直接赋值

# ===================== 步骤1：准备测试数据（模拟电商评论） =====================
def get_test_data():
    """生成模拟的电商评论数据"""
    data = {
        "comment": [
            "物流速度太慢了，等了7天才到",
            "快递员态度很差，直接把包裹放门口",
            "商品质量很好，和描述的一致",
            "价格太贵了，比别家贵了50块",
            "质量不行，用了2天就坏了",
            "物流很快，第二天就收到了",
            "性价比不高，价格偏高",
            "配送员态度很好，还帮忙搬上楼",
            "商品有瑕疵，做工粗糙",
            "价格实惠，值得购买",
            "物流延迟，联系客服也没用",
            "质量超预期，比想象的好",
            "定价不合理，性价比低",
            "快递包装破损，商品被压坏了",
            "客服回复慢，解决问题不及时"
        ]
    }
    df = pd.DataFrame(data)
    return df

# ===================== 步骤2：数据预处理 =====================
def preprocess_text(text):
    """文本预处理：清洗、分词、去停用词"""
    # 1. 清洗：去掉特殊字符、数字
    text = re.sub(r'[^\u4e00-\u9fa5]', '', text)
    # 2. 分词
    words = jieba.lcut(text)
    # 3. 去停用词（自定义停用词表）
    stopwords = {"的", "了", "是", "就", "也", "都", "很", "还", "比", "和", "有", "用"}
    words = [word for word in words if word not in stopwords and len(word) > 1]
    return " ".join(words)

# ===================== 步骤3：文本向量化（TF-IDF） =====================
def vectorize_text(df):
    """对预处理后的文本进行TF-IDF向量化"""
    tfidf = TfidfVectorizer(max_features=1000)  # 保留1000个高频词
    X = tfidf.fit_transform(df["processed_comment"])
    # 获取特征名（词汇表）
    feature_names = tfidf.get_feature_names_out()
    return X, feature_names, tfidf

# ===================== 步骤4：K-Means聚类（选择最优K值） =====================
def find_best_k(X, max_k=6):
    """通过轮廓系数选择最优K值"""
    silhouette_scores = []
    k_range = range(2, max_k+1)
    for k in k_range:
        kmeans = KMeans(n_clusters=k, random_state=42)
        labels = kmeans.fit_predict(X)
        score = silhouette_score(X, labels)
        silhouette_scores.append(score)
        print(f"K={k}，轮廓系数={score:.4f}")
    
    # 可视化轮廓系数
    plt.figure(figsize=(8, 4))
    plt.plot(k_range, silhouette_scores, marker='o')
    plt.xlabel("聚类数K")
    plt.ylabel("轮廓系数")
    plt.title("轮廓系数选择最优K值")
    plt.grid(True)
    plt.savefig("best_k.png", dpi=300, bbox_inches='tight')
    plt.show()
    plt.close()
    
    # 选择轮廓系数最大的K值
    best_k = k_range[silhouette_scores.index(max(silhouette_scores))]
    print(f"最优聚类数K={best_k}")
    return best_k

def kmeans_cluster(X, best_k):
    """执行K-Means聚类"""
    kmeans = KMeans(n_clusters=best_k, random_state=42)
    df["cluster_label"] = kmeans.fit_predict(X)
    return df, kmeans

# ===================== 步骤5：LDA主题模型（可选） =====================
def lda_topic(X, feature_names, n_topics):
    """执行LDA主题模型，提取主题"""
    lda = LatentDirichletAllocation(n_components=n_topics, random_state=42)
    lda.fit(X)
    # 打印每个主题的核心词
    print("\n=== LDA主题模型结果 ===")
    for idx, topic in enumerate(lda.components_):
        top_words = [feature_names[i] for i in topic.argsort()[:-10 - 1:-1]]
        print(f"主题{idx+1}核心词：{', '.join(top_words)}")
    return lda

# ===================== 步骤6：聚类结果可视化（词云+散点图） =====================
def visualize_cluster(df, X, kmeans):
    """可视化聚类结果"""
    # 1. 每个聚类的词云
    for label in df["cluster_label"].unique():
        # 提取该聚类的所有文本
        cluster_text = " ".join(df[df["cluster_label"] == label]["processed_comment"])
        # 生成词云
        wordcloud = WordCloud(
            font_path="simhei.ttf",  # 中文词云需要指定字体
            width=800, height=400,
            background_color="white"
        ).generate(cluster_text)
        # 保存词云
        plt.figure(figsize=(8, 4))
        plt.imshow(wordcloud)
        plt.axis("off")
        plt.title(f"聚类{label}词云")
        plt.savefig(f"cluster_{label}_wordcloud.png", dpi=300, bbox_inches='tight')
        plt.show()
        plt.close()
    
    # 2. 聚类散点图（PCA降维到2D）
    from sklearn.decomposition import PCA
    pca = PCA(n_components=2)
    X_pca = pca.fit_transform(X.toarray())
    # 绘制散点图
    plt.figure(figsize=(10, 6))
    sns.scatterplot(x=X_pca[:, 0], y=X_pca[:, 1], hue=df["cluster_label"], palette="tab10", s=100)
    plt.scatter(
        pca.transform(kmeans.cluster_centers_)[:, 0],  # 聚类中心
        pca.transform(kmeans.cluster_centers_)[:, 1],
        color="red", marker="*", s=200, label="聚类中心"
    )
    plt.xlabel("PCA维度1")
    plt.ylabel("PCA维度2")
    plt.title("K-Means聚类结果（PCA降维可视化）")
    plt.legend()
    plt.savefig("cluster_scatter.png", dpi=300, bbox_inches='tight')
    plt.show()
    plt.close()

# ===================== 步骤7：调用大模型生成标签和解释 =====================
def get_cluster_label_by_llm(df):
    """调用大模型为每个聚类生成标签和解释"""
    # 使用腾讯混元大模型
    client = OpenAI(
        api_key="sk-bWlJP****************************P8Ze",
        base_url="https://api.hunyuan.cloud.tencent.com/v1"
    )
    
    cluster_results = {}
    for label in df["cluster_label"].unique():
        # 提取该聚类的前5条核心评论（原始文本）
        cluster_comments = df[df["cluster_label"] == label]["comment"].head(5).tolist()
        # 构造大模型提示词
        prompt = f"""
        以下是电商评论的一个聚类，包含5条核心评论：
        {cluster_comments}
        请完成以下任务：
        1. 给这个聚类起一个简洁的业务标签（不超过8个字）；
        2. 解释这个聚类的核心特征（不超过50个字）。
        输出格式：
        标签：xxx
        解释：xxx
        """
        # 调用腾讯混元API
        try:
            response = client.chat.completions.create(
                model="hunyuan-lite",
                messages=[
                    {"role": "system", "content": "你是一个专业的文本分析助手"},
                    {"role": "user", "content": prompt}
                ],
                temperature=0.3
            )
            # 解析响应
            result = response.choices[0].message.content.strip()
            label_text = result.split("标签：")[1].split("\n")[0].strip()
            explanation = result.split("解释：")[1].strip()
        except Exception as e:
            print(f"API调用失败: {e}")
            label_text = f"聚类{label}"
            explanation = "生成失败"
        
        cluster_results[label] = {"标签": label_text, "解释": explanation}
        print(f"\n=== 聚类{label} ===")
        print(f"标签：{label_text}")
        print(f"解释：{explanation}")
        print(f"示例评论：{cluster_comments}")
    return cluster_results

# ===================== 主函数：整合所有步骤 =====================
if __name__ == "__main__":
    # 1. 加载测试数据
    df = get_test_data()
    print("原始数据：")
    print(df)
    
    # 2. 文本预处理
    df["processed_comment"] = df["comment"].apply(preprocess_text)
    print("\n预处理后数据：")
    print(df[["comment", "processed_comment"]])
    
    # 3. 文本向量化
    X, feature_names, tfidf = vectorize_text(df)
    
    # 4. 选择最优K值并执行K-Means聚类
    best_k = find_best_k(X)
    df, kmeans = kmeans_cluster(X, best_k)
    
    # 5. 执行LDA主题模型（可选）
    lda_topic(X, feature_names, n_topics=best_k)
    
    # 6. 可视化聚类结果（生成图片）
    visualize_cluster(df, X, kmeans)
    
    # 7. 调用大模型生成标签和解释
    cluster_labels = get_cluster_label_by_llm(df)
    
    # 8. 保存最终结果
    df["业务标签"] = df["cluster_label"].map(lambda x: cluster_labels[x]["标签"])
    df["标签解释"] = df["cluster_label"].map(lambda x: cluster_labels[x]["解释"])
    df.to_csv("cluster_result.csv", index=False, encoding="utf-8-sig")
    print("\n最终结果已保存到cluster_result.csv")