PDF《基于 RVM 的多类分类概率输出方法》

3 类人工商斯数据集和

5 类UCI 数据集的仿真实验表明了本文所提方法的有效性.

2 相关向量机 对于三分类问题,给定一组训练样本 X二{Xn }~1' 对应 的类别标号为 t={tn}~l' 其中 N 为样本个数. RVM 的分类 函数定义为: 到稿日期: 2016-02-14 返修日期: 2016-05-12 本文受国家自然科学基金项目:基于多特征融合和集成学习研究的多目标识别技术研究 (61273275) ,国家自然科学基金项目 z 基于 SVM 集成和证据理论的多传感器目标识别技术研究 (60975026) 资助. 李睿(1992- ),男,硕士生,主要研究方向为机器学习、智能信息处理 .E-mail: [email protected];

王晓丹(1966-) ,女,教授,博士生 导师,主要研究方向为机器学习、智能信息处理 .E-mail:[email protected](通信作者). 第3期李睿,等:基于 RVM 的多类分类概率输出方法

243 N Y(X;

w) 二~wiK(工,与)+Wc 0) 其中 , K(X , Xi) 为核函数 , Wi 是模型的权值.把logistic sig- moid 连接函数以 Y) 二1/0+e-Y ) 应用于 Y(川,使得 p(t IX) 服从伯努利分布.假设训练样本独立同分布,那么整个样本 集的似然函数为: N ρ (tlw) 二IIa{Y(Xn ;

w) }'n [l-a{y(xn;

w)} J1-'n (2) 其中 , t= 屿,岛,… , tN )T ,w= (wo , 叫,… , WN)T . 在贝叶斯框架下,可以通过最大化似然函数来估计参数 向量 w , 但是为了避免过学习问题, RVM 为每个权值定义了 高斯先验概率分布来约束参数: N ρ (wla)= IIN(叫10 , α;

1) (3) 其中, α二(吨,吨,…,日N) 是N+1 维超参数,并假设日服从 Garnrna 先验概率分布. 由贝叶斯理论得: ρ (tlw) ρ(wl 日) ρ (wlt , α) 1=" "1 :-V:.T\~I \?/ (4) ρ (tl α) 因p(wlt , α)ocρ (tlw)p(wl α) ,故可以将关于 w 的最大 后验概率估计等价为最大化: logp(wlt , α)=log{ρ(tlw)户(wlα) } N 二~ [tnlogYn + (1 - tn ) log (1 - Yn )J 一÷dAW (5) 其中,A=diag(饨,矶,… , aN) 'Yn= σ{Y(Xn;

w)} . 由于户(αI t) ∞ρ (tl 日)ρ(时,因此对 ρ(日It) 的求解可以转 化为超参数的后验分布 p(日It) 关于 α 的最大化问题.仅需对 p(tl α) 最大化: ω(ωt 川|ω 二log( I μ 内州 t 川Iwω w)p 户川 二tuMog嗣+loglCI +(川1t)J (6) 利用拉普拉斯方法求解式 (5) 和式 (6) ,通过不断地迭代, 优化参数 w 和超参数日,最终大部分 Wi 将趋于

0 ,少量的 Wi 将趋向于稳定的有限值,对应的 Xi 即为相关向量 (relevant vectors) ,从而实现了模型的稀疏化. RVM 分类决策准则为:若以Y;

} 二1/0+e-Yi )