文本聚类的新范式：LLM嵌入与HDBSCAN的融合应用

> ### 摘要 > 本文提出一种融合大型语言模型（LLM）嵌入技术与HDBSCAN密度聚类算法的文本聚类流程，面向中文未经标注的文本数据，实现高效、自动的主题发现。该方法充分发挥LLM对语义深层表征的建模能力，将文本映射至高维语义空间；再依托HDBSCAN对簇形状与噪声的鲁棒性，识别出结构复杂、规模不一的潜在主题簇。整个流程完全无监督，无需人工标注或预设类别数，显著提升主题发现的可扩展性与实用性。 > ### 关键词 > 文本聚类, LLM嵌入, HDBSCAN, 无监督, 主题发现 ## 一、文本聚类流程的构建步骤 ### 1.1 数据预处理与文本清洗 在通往语义深处的旅程启程之前，文本必须先经历一场静默而审慎的“净界”仪式。面对中文未经标注的原始文本数据——它们或来自社交媒体的碎片化表达，或源于长篇文档的密集叙述，抑或混杂着标点失序、编码异常、广告噪声与无意义重复——清洗不再仅是技术步骤，而是一种对语言尊严的尊重。去除HTML标签、统一全半角符号、过滤超长空白与不可见控制字符，是对文本肌理的轻柔抚平；而针对中文特性所作的停用词精简（非简单套用通用列表，而是结合领域语感动态裁剪）、繁简归一及未登录词容忍处理，则让每一段文字保有其原生呼吸节律。这一阶段不追求“绝对干净”，而致力于保留语义张力的最小必要形式——因为真正的主题，往往蛰伏于看似冗余的副词之间、藏身于被忽略的连接短语之后。清洗不是删减意义，而是为LLM嵌入腾出澄明空间，让后续的向量化过程，真正始于语言本身，而非噪声的幻影。 ### 1.2 LLM嵌入向量的生成方法 当文本洗净铅华，便步入大型语言模型（LLM）所构筑的语义圣殿。此处没有关键词匹配的机械回响，只有词与词之间、句与句之间，在千亿参数凝练出的世界知识图谱中悄然重建的隐性契约。LLM嵌入并非将句子压缩为冰冷坐标，而是将其转化为高维语义空间中的一束微光——其亮度映射语义强度，方向承载逻辑倾向，距离隐喻概念亲疏。对中文文本而言，选用适配中文语料持续预训练的LLM（如支持长上下文、具备良好成语与古白话理解能力的版本），确保“春风又绿江南岸”的“绿”被感知为动词的惊觉，而非颜色名词的静止；使“内卷”与“躺平”在向量空间中既保持时代语境下的对抗张力，又共享青年话语的焦虑底色。每一次前向传播，都是对语言深层结构的一次虔诚解码；每一个768维（或更高）嵌入向量，都是一段文本在语义宇宙中的独特星轨——它不解释自己，却为HDBSCAN的凝视，备好了全部可被读取的密码。 ### 1.3 HDBSCAN聚类的参数选择与调优 在语义星轨铺就的暗夜中，HDBSCAN如一位沉静的天文学家，不预设星座形状，亦不强求恒星数量均等——它只倾听密度本身的低语。`min_cluster_size` 并非武断设定的阈值，而是对“何为可信主题”的哲学试探：过小，则琐碎噪音升格为伪主题；过大，则边缘却真实的思想支流被粗暴抹除。`min_samples` 则如校准望远镜的景深，决定模型对局部密度波动的敏感度——它让“人工智能伦理”与“AI绘画版权争议”得以在相近语义邻域中各自成簇，而非被强行合并为模糊的“AI话题”。而`cluster_selection_method='eom'`（Excess of Mass）的选择，更显匠心：它不追逐最大团块，而寻找密度高原上最自洽、最稳固的峰顶——那里，是主题生命力最蓬勃的证据。参数调优从不是数值游戏，而是在无监督疆域中，以数学为尺、以语义为锚，一次次校准人类对“自然聚类”的直觉信任。当噪声点如星尘般散落于簇外，当大小不一、形态各异的主题簇在降维可视化中浮现如岛屿群——那一刻，算法并未“发现”主题，它只是终于，让主题自己浮出了沉默的海面。 ## 二、主题识别与评估方法 ### 2.1 聚类结果的主题提取技术 当HDBSCAN在高维语义空间中悄然划出簇的边界，那些由LLM嵌入所锚定的文本群落，并非自动显影为可读的主题——它们仍是一片未被命名的沃土。主题提取，正是在这片沉默丰饶之上，以语言为犁、以统计为光，进行的一场精微而庄重的“意义垦殖”。不同于传统TF-IDF加关键词抽取的线性逻辑，此处的主题提炼深度耦合聚类结构本身：对每个簇内文本的嵌入向量取均值或质心，再反向检索语义邻域中最接近的若干原始句子；从中抽取出高频共现的实体、动宾结构与评价性短语（如“算法偏见”“用户知情权缺失”“训练数据失衡”），并依其在簇内分布密度与跨簇区分度加权排序。尤为关键的是，中文语境下需保留主谓隐含、虚词承载的语用张力——例如，“不是不能用，而是不敢信”这一句式所凝聚的信任危机，远比孤立词“信任”更精准地标识“AI透明度”子主题。主题命名不追求辞藻华美，而恪守“可解释、可追溯、可对话”的三重伦理：每一个生成的主题标签，都必须能在原始文本中找到至少三处语义支撑，且拒绝抽象概括，坚持具象表达。这并非归纳，而是让文本自己开口说话。 ### 2.2 主题质量的评估指标 主题质量从不悬浮于理论真空，它扎根于两个不可让渡的维度：内部凝聚性与外部区分性。凝聚性以簇内嵌入向量的平均余弦相似度量化——数值越高，说明该主题下的文本在LLM语义空间中确然“彼此认得”；区分性则通过簇间最小成对余弦距离衡量：若“乡村振兴政策解读”簇与“基层干部数字素养”簇的距离显著大于各自簇内平均间距，则表明二者确为独立认知单元，而非语义粘连的伪分界。此外，引入主题一致性（Topic Coherence）指标，计算簇内高频短语两两之间的语义关联强度（基于LLM嵌入空间中的路径距离），规避传统NPMI在中文短语稀疏场景下的失敏问题。所有指标均拒绝预设黄金标准，因本文方法本质无监督；其价值不在绝对分值，而在相对诊断——当某簇一致性骤降而噪声点激增，提示清洗阶段可能误删了关键语境标记；当多个小簇在语义空间中呈链状毗邻，或暗示存在一个尚未被充分展开的中间层级主题。指标不是审判者，而是聚类过程的呼吸监测仪，每一次波动，都在提醒研究者：语义的海洋之下，仍有未被测绘的洋流。 ### 2.3 人工评估与自动评估的结合 再精密的数学指标，也无法替代人类面对一句“我妈把健康码截图设成了屏保”时心头掠过的时代震颤——那里面蜷缩着数字鸿沟、家庭照护、技术温情与系统刚性之间全部未言明的张力。因此，本流程将人工评估置于闭环中枢：邀请三位具备中文文本分析经验的非领域专家（非计算机背景，但熟悉社会议题表达），对随机抽取的20个簇进行双盲标注——仅提供簇内5–8条原始文本，不透露算法细节，要求用一句话凝练主题，并判断其是否“具有现实可感性、内部逻辑自洽、且与其他簇不重叠”。其标注结果与自动指标交叉验证：若某簇自动一致性高但三人中有两人判定“主题发散”，则回溯检查LLM嵌入是否过度平滑了语义锋芒；若人工一致认可某小簇为“真实微主题”，而自动区分度偏低，则主动降低`min_cluster_size`重新聚类。这种人机协奏并非妥协，而是承认——无监督学习的终极目的，从来不是拟合数学最优，而是让机器成为一面更澄澈的镜子，映照出人类语言中本就奔涌的意义之河。当算法输出与人文直觉在某个簇上达成共振，那便是主题真正浮出水面的时刻。 ## 三、总结 本文构建了一种面向中文未经标注文本的无监督主题发现流程，深度融合LLM嵌入与HDBSCAN密度聚类。该方法摒弃对预设类别数与人工标注的依赖，依托LLM对中文语义的深层表征能力，将文本映射至高维空间；再借HDBSCAN对不规则簇形与噪声的鲁棒性，自动识别规模各异、结构复杂的潜在主题。从数据清洗的语义敬畏，到嵌入生成的语言解码，再到参数调优的哲学校准，每一步均服务于“让主题自己浮现”这一核心目标。主题提取坚持可解释、可追溯、可对话原则，评估体系兼顾凝聚性、区分性与人文直觉，形成人机协同的闭环验证机制。该流程为中文文本的主题发现提供了兼具专业深度与实践温度的技术路径。