PDF《基于 RVM 的多类分类概率输出方法》

第44 卷第

3 期2017 年3月计算机科学 COMPUTER SCIENCE Vo1.

44 NO.3 岛1ar.2017 基于 RVM 的多类分类概率输出方法 李睿王晓丹 (空军工程大学防空反导学院 西安

71005 1) 摘 要基于相关向量机 CRelevance Vector Machine,RVM) 可以输出各类别成员概率的特点,对RVM 二分类模型 分别采用多元 sigmoid 方法和 pairwise coupling 方法,将其扩展为一对多分类器和一对一分类器,实现了多类分类及 概率输出.基于人工高斯数据集和 UCI 数据集的实验仿真结果表明,所提方法不仅能够准确地求解样本后验概率, 而且运行效率也比较高,同时能够保证较高的分类正确率. 关键词 相关向量机,多类分类概率,成对分解 中图法分类号 TP181 文献标识码 A

001 10. 11896/j. issn. 1002-137叉2017.03.050 Multi-class Probability Output Based on Relevance Vector Machine LI Rui WANG Xiao-dan CInstitute of Air Defense and Anti-Missile,Air Force Engineering University,Xi'an

710051 ,China) Abstract Based on the probability of memberships estimated by RVM CRelevance Vector Machine) basic model,poste rior probability estimating approaches in one-versus-all strategy by multivariate sigmoid function and one-versus-one strategy by pairwise coupling were presented. Experimental results based on artificial gauss datasets and UCI datasets show the proposed approaches can calculate posterior probability precisely and are more efficient, as well can ensure high classification perforτnance. Ke)响.rds RVM,Multi-class probability,Pairwise coupling 引言 相关向量机口 3J 是METipping 在2000 年提出的一种基 于贝叶斯框架理论的机器学习方法. RVM 充分考虑了不确 定因素的影响,基于贝叶斯理论推导模型参数,在输出样本分 类标签的同时,还能够提供样本的后验概率分布. RVM 由 于其独特的优势而备受关注,目前已被广泛应用于高光谱图 像分类

四、网络流量分类〔町、语音识别〔町等领域. RVM 基本模型只能解决二分类问题,一对多 Cone-ver sus-all , OVA) 和一对一 C one-versus-one, OVO) 方法是构建多 类分类器的常用方法,另外比较常见的还有二叉树方法和有 向无环图法.针对一对一分类方法构建分类器较多、运算量 大的问题,文献[7J 在循环分类时每轮淘汰得票最少的类别, 采用多轮逐次淘汰的方法得到样本分类结果,显著减少了比 较次数,提高了分类效率.文献[8J通过定义模糊函数将二分 类器输出的样本成员隶属度进行重新映射,构造了模糊 RVM ,解决了一对一分类器存在的拒分区域问题.文献 [9J 提出了一种二叉树多分类方法 CDDBT ,该方法综合考虑了类 别之间的距离和类分布的性质,采用逐层分级的思想依次判 断样本所属数据类别,明显提高了识别的性能.文献口oJ 根 据训练样本的特性,自动选取决策结构,构建了最佳 DAG? RVM 分类器,有效提高了识别正确率和效率. {ê. 以上方法 构造的 RVM 多类分类以器都是硬判决输出,如何利用 RVM 模型可以输出各类别成员概率的特点构造具有概率输出的多 类分类器仍然是一个需要解决的问题. Damoulas 等人[11 山 采用分层贝叶斯模型结构,通过引人多项概率似然函数 CMultinomial Probit Likelihood) 提出了基于贝叶斯框架的统 计学习算法多分类相关向量机mRVMs ,实现了多类分类以 及概率输出,其在变压器故障诊断口3J 和局部放电模式识 别国]领域得到了成功应用.但该方法直接对多分类问题建 模,优化参数较多,运算复杂度高,推广受到限制. 针对多类分类概率输出问题,本文分别采用多元 sigmoid 方法和 Pairwise Coupling 方法构造一对多分类器和一对一分 类器,实现了多分类及概率输出.基于