一、论文信息
- 论文标题：A Non-parametric Multi-view Model for Short Text Clustering
- 中文标题：一种用于短文本聚类的非参数多视图模型
- 发表会议：KDD 2026
- 论文链接：A Non-parametric Multi-view Model for Short Text Clustering | Lune Research
- 代码地址：GitHub - chehaoa/NMVM: An official source code for paper "A Non-parametric Multi-view Model for Short Text Clustering" · GitHub
论文提出了 NMVM（Non-parametric Multi-View Model），一种融合词袋特征与文本语义嵌入的短文本聚类模型。它通过整合DPMM和DPGMM，并采用基于折叠 Gibbs 采样的聚类算法，尝试同时解决短文本语义信息稀疏、聚类结果缺乏可解释性，以及需要预先指定聚类数量等问题。
二、研究背景：为什么短文本聚类比较困难？
2.1 什么是短文本聚类？
短文本聚类（Short Text Clustering，STC）是指根据文本的内容或语义，将大量短文本自动划分为若干群组，使同一群组中的文本具有较高的相关性，而不同群组之间的文本具有一定差异。
例如，下面有四条问答：
问答 | 内容 |
Q1 | 人为什么要保持内心平静？ |
Q2 | 遇到困难时怎样调整自己的心态？ |
Q3 | 怎样减少生活中的不必要开支？ |
Q4 | 如何看待金钱与人生的关系？ |
理想情况下，Q1 和 Q2 可能被划分到与内心状态有关的群组，Q3 和 Q4 则可能被划分到与金钱观念有关的群组。
但是：实际分组取决于语料、标签定义和聚类目标，并不存在唯一正确的分组方式。
与长文档相比，短文本通常只有几个词或一两句话，能够用于判断主题的信息有限。因此，如何有效表示短文本，是短文本聚类需要解决的关键问题之一。
2.2 现有方法的主要局限
论文将相关研究概括为三类：基于主题模型的方法、基于深度语义表示的方法，以及依赖大语言模型的方法。
方法一：基于词袋特征的主题模型
词袋模型（Bag-of-Words，BoW）将文本表示为词语及其出现次数组成的向量，不考虑词语的原始顺序。
例如：
- 文本 A：内心平静，减少焦虑。
- 文本 B：减少焦虑，保持内心平静。
如果采用简单词袋表示，这两条文本可以获得相同的词频向量。
这种表示方法简单、计算成本较低，而且可以通过词频信息解释文本的主要内容。但是，它存在两个明显的问题：
- 词袋模型难以直接理解同义表达。例如，“保持心境平和”和“让自己平静下来”可能具有相近含义，但使用的词语不同。
- 它忽略词语顺序与上下文信息，无法充分理解复杂的语义关系。
对于词汇差异较大、但语义相近的短文本，仅依靠词袋特征可能难以将它们划分到同一群组。
方法二：基于深度语义表示的方法
这类方法使用 BERT 等预训练模型，将文本编码为稠密向量，再根据向量之间的距离或相似度进行聚类。
例如，两条文本即使使用不同的词语，只要语义接近，模型就有机会将它们映射到相近的向量空间位置。
这种方法能够利用上下文语义，但也存在局限：
- 聚类结果通常依赖于文本向量的质量。
- 向量本身不像词频那样容易直接解释。
- 如果模型的语义表示不够准确，聚类效果也会受到影响。
因此，语义向量虽然能够补充词袋特征的不足，却不意味着它可以完整地表达所有与聚类有关的信息。
方法三：基于大语言模型的方法
大语言模型可以理解文本含义，甚至能够直接判断文本之间的关系或协助进行分组。
但如果在大量文本上频繁调用外部模型 API，可能产生额外的推理成本、调用延迟和服务依赖。模型调用结果也可能受到提示词与模型本身的影响。
另外，无论使用哪一种方法，如果算法要求预先指定群组数量，就需要提前确定应该把数据分成多少组。
由此可以归纳出三个研究问题：
- 如何融合词语层面的统计信息与文本的深层语义信息？
- 如何在获得有效聚类结果的同时，保留一定的可解释性？
- 如何减少对预先指定群组数量的依赖？
三、NMVM 的核心思想：融合两种互补的文本视角
3.1 什么是多视图表示？
多视图学习（Multi-View Learning）的基本思想是：同一个对象可以通过不同的特征表示，从多个角度描述。
对于文本而言，同一条问答既可以表示为词语出现情况，也可以表示为预训练模型生成的语义向量。
NMVM 使用两种视角：
- 词袋视角（Bag-of-Words View）：描述文本中出现了哪些词语，以及它们的统计分布。
- 语义嵌入视角（Text Embedding View）：利用预训练文本模型提取稠密向量，表达文本的语义特征。
这两种视角关注的信息不同，因此具有互补性。
NMVM 并不是简单地认为某一种表示一定优于另一种表示，而是尝试将两种信息整合到统一的聚类框架中。
整体思路：
短文本数据 | +-----------+-----------+ | | v v 词袋特征表示 文本语义嵌入 BoW View Embedding View | | v v DPMM DPGMM 词语统计建模 稠密向量建模 | | +-----------+-----------+ | v 多视图联合聚类 | v 折叠 Gibbs 采样 | v 文本群组与代表性词语四、模型设计：DPMM 与 DPGMM 分别负责什么？
NMVM：将词袋视角与语义嵌入视角分别纳入不同的概率生成模型，再通过联合建模完成聚类。
4.1 DPMM：建模词袋视角
DPMM 的全称是 Dirichlet Process Multinomial Mixture，狄利克雷过程多项式混合模型。
先从普通的多项式混合模型理解。
假设我们已经知道有三个主题群组，每个群组都有自己的词语分布：
- 群组 A 经常出现“内心”“平静”“情绪”等词。
- 群组 B 经常出现“金钱”“消费”“财富”等词。
- 群组 C 经常出现“学习”“知识”“成长”等词。
当一条新文本到来时，我们可以观察它的词语分布，判断它更可能属于哪个群组。
在这种思路下，文本不再只是一个孤立的词频向量，而是被看作由某个群组对应的词语分布生成的观测数据。
但是，普通混合模型通常需要预先设定群组数量。对于真实数据，这个数量往往并不容易提前确定。
DPMM 通过引入狄利克雷过程，使模型能够在聚类过程中考虑创建新群组的可能性，而不必把群组数量固定为一个预先给定的值。
在 NMVM 中，DPMM 负责词袋视角，帮助模型利用词语统计信息区分不同群组。
4.2 DPGMM：建模语义嵌入视角
DPGMM 的全称是 Dirichlet Process Gaussian Mixture Model，狄利克雷过程高斯混合模型。
与 DPMM 不同，DPGMM 面向的是连续的向量数据。
假设每条问答都通过文本编码器转换为一个稠密向量：xi∈Rd，d表示向量维度。
如果语义相近的文本能够在向量空间中形成相对集中的区域，那么可以通过概率分布描述不同群组的向量分布。
高斯混合模型正是利用多个高斯分布描述数据的不同群组，而 DPGMM 则通过狄利克雷过程扩展了混合模型，使群组数量不必固定为预先设定的值。
在 NMVM 中，DPGMM 负责建模文本嵌入，从而利用文本的稠密语义信息。
另外：如果嵌入模型无法准确区分某些心法问答，聚类结果仍然可能受到影响。前提还是语义理解。
4.3 两个模型如何配合？
可以将两种视角理解为对同一条文本的两份互补证据。
假设有一条问答：“遇到挫折时，怎样保持内心稳定？”
- 词袋视角：可能观察到“挫折”“内心”“稳定”等词语；
- 语义嵌入视角：提供一个反映整句话含义的稠密向量。
- 如果两种视角都支持它与某个群组相关，那么这种一致性有助于形成更合理的群组划分。
- 如果两种视角提供的信息不完全一致，联合模型则需要根据自身的概率建模与参数设置综合这些证据。
NMVM 通过将 DPMM 和 DPGMM 整合到一个生成式框架中，并使用相应的联合聚类算法来完成这种融合。
文档 d 选择现有聚类k 的概率：
文档 d 分配到新集群的总体概率：
五、非参数模型与折叠 Gibbs 采样
5.1 非参数
“非参数”不是指模型没有任何参数，也不是指完全不需要配置。
在这类贝叶斯非参数混合模型中，非参数的关键含义是：模型不需要将最终的群组数量固定为某个预先指定的值，而是通过数据与概率过程推断群组结构。
5.2 Gibbs 采样
Gibbs 采样是一种马尔可夫链蒙特卡洛方法（MCMC），常用于从复杂的概率分布中进行采样。
在聚类问题中，可以把每条文本所属的群组视为一个待推断的变量。
算法的一般思路是：
- 为文本初始化群组分配。
- 在其他文本的当前分配与模型参数条件下，计算某条文本属于不同群组的条件概率。
- 根据这些概率重新采样该文本的群组分配。
- 对文本反复执行更新，使群组结构逐步调整。
- 依据模型的非参数混合机制，允许出现新群组，并在后续迭代中继续调整整体划分。
5.3 为什么强调“折叠”？
在贝叶斯推断中，某些模型参数可以通过积分消去，而不是在采样过程中逐个显式采样。这类处理通常称为折叠（collapsed）推断。
折叠 Gibbs 采样的意义在于：在适当条件下，通过对部分参数进行边缘化，可以直接对更核心的隐变量进行采样。
NMVM 利用这种思路设计聚类算法，并结合自适应流式初始化策略，目标是提升聚类推断效率。
六、代表性词语：为什么聚类结果需要可解释性？
聚类算法通常会给出每条文本所属的群组编号，例如：
问答 1 -> 群组 0 问答 2 -> 群组 0 问答 3 -> 群组 1 问答 4 -> 群组 1群组编号本身并没有语义。群组 0 和群组 1 只是算法内部的标识，仍需要进一步理解每个群组的主要内容。
NMVM 会为群组识别代表性词语，帮助分析群组的语义特征。
例如，某个群组的代表性词语可能包含：
- 内心
- 情绪
- 平静
- 焦虑
这些词语可以帮助我们判断该群组可能与情绪调节或内心状态有关。
另一个群组可能出现：
- 金钱
- 财富
- 消费
- 欲望
这可能表明它与金钱观念或消费行为有关。
代表性词语的作用是辅助理解聚类结果，而不是直接证明群组标签一定正确。最终仍然需要结合群组中的实际文本进行检查。
七、实验设计
- ACC（聚类准确率）
- NMI（归一化互信息）衡量聚类分配与真实标签之间共享的信息程度
八、总结
NMVM 的主要贡献可以概括为三个方面。
- 通过词袋特征和文本语义嵌入构建多视图表示，尝试同时利用词语统计信息与稠密语义信息。
- 将 DPMM 和 DPGMM 整合到非参数概率建模框架中，利用折叠 Gibbs 采样进行聚类推断，降低了对预先指定最终群组数量的依赖。
- 为群组识别代表性词语，为理解聚类结果提供额外依据。
