We present the first method for assessing the relevance of a model-based clustering result in both parametric and non-parametric frameworks. The method directly aligns with the clustering objective by assessing how well the conditional probabilities of cluster memberships, as defined by the mixture model, fit the data. By focusing on these conditional probabilities, the procedure applies to any type and dimension of data and any mixture model. The testing procedure requires only a consistent estimator of the parameters and the associated conditional probabilities of classification for each observation. Its implementation is straightforward, as no additional estimator is needed. Under the null hypothesis, the method relies on the fact that any functional transformation of the posterior probabilities of classification has the same expectation under both the model being tested and the true model. This goodness-of-fit procedure is based on a empirical likelihood method with an increasing number of moment conditions to asymptotically detect any alternative. Data are split into blocks to account for the use of a parameter estimator, and the empirical log-likelihood ratio is computed for each block. By analyzing the deviation of the maximum empirical log-likelihood ratios, the exact asymptotic significance level of the goodnessof-fit procedure is obtained.


翻译:我们提出了首个在参数与非参数框架下评估模型聚类结果相关性的方法。该方法直接对标聚类目标,通过评估混合模型定义的簇成员条件概率与数据的拟合程度来验证聚类效果。聚焦于这些条件概率使得本方法适用于任意数据类型、维度及任意混合模型。检验过程仅需参数的一致估计量及各观测值对应的分类条件概率,无需额外估计量,实施简便。在原假设下,该方法基于以下原理:分类后验概率的任意函数变换在待测模型与真实模型下具有相同的期望。该拟合优度检验采用经验似然方法,通过增加矩条件数量以渐近检测任意备择假设。为考虑参数估计量的使用,数据被分割为若干块,并计算每块的经验对数似然比。通过分析最大经验对数似然比的偏差,可获得拟合优度检验的精确渐近显著性水平。

0
下载
关闭预览

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。
【NeurIPS2023】半监督端到端对比学习用于时间序列分类
专知会员服务
36+阅读 · 2023年10月17日
专知会员服务
17+阅读 · 2021年7月13日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
49+阅读 · 2020年9月28日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月22日
VIP会员
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员