PDF《半监督学习方法》

第3 8卷第8期2015年8月计算机学报CH I N E S EJ OUR NA LO FC OMP UT E R S V o l .

3 8 N o .

8 A u g .

2 0

1 5 收稿日期:

2 0

1 3

0 8

1 2 ;

最终修改稿收到日期:

2 0

1 4

0 8

2 8 . 本课题得到国家 九七三 重点基础研究发展规划项目基金(

2 0

1 2 C B

7 2

0 5

0 0 ) 、 国家 自然科学基金(

2 1

0 0

6 1

2 7 ) 、 中国石油大学( 北京) 基础学科研究基金项目( J C X K

2 0

1 1

0 7 ) 资助. 刘建伟, 男,

1 9

6 6年生, 博士, 副研究员, 主 要研究方向为智能信息处理、 复杂非线性系统分析、 预测与控制、 算法分析与设计. E m a i l : l i u j w@c u p . e d u. c n. 刘媛, 女,

1 9

8 9年生, 硕 士研究生, 主要研究方向为机器学习、 数字图像处理. 罗雄麟, 男,

1 9

6 3年生, 博士, 教授, 主要研究领域为智能控制、 复杂非线性系统分 析、 预测与控制. 半监督学习方法 刘建伟 刘媛罗雄麟 ( 中国石油大学( 北京) 自动化研究所 北京

1 0

2 2

4 9 ) 摘要半监督学习研究如何同时利用有类标签的样本和无类标签的样例改进学习性能, 成为近年来机器学习领 域的研究热点. 鉴于半监督学习的理论意义和实际应用价值, 系统综述了半监督学习方法. 首先概述了半监督学习 的相关概念, 包括半监督学习的定义、 半监督学习研究的发展历程、 半监督学习方法依赖的假设以及半监督学习的 分类, 然后分别从分类、 回归、 聚类和降维这4个方面详述了半监督学习方法, 接着从理论上对半监督学习进行了 分析并给出半监督学习的误差界和样本复杂度, 最后探讨了半监督学习领域未来的研究方向. 关键词 半监督学习;

有类标签的样本;

无类标签的样例;

类标签;

成对约束 中图法分类号 T P

1 8

1 珊

1 0.

1 1

8 9

7 / S P. J .

1 0

1 6.

2 0

1 5.

0 1

5 9

2 犁楠怖 蜃樽 LIUJ i a n W e i L I U Y u a n L UOX i o n g L i n ( 状 镒, 樽 状 , 樽102249)Semisupervisedlearningisu s e dt os t u d yh o wt o i m p r o v ep e r f o r m a n c e i nt h ep r e s e n c e o fb o t he x a m p l e s a n d i n s t a n c e s , a n d i th a sb e c o m e ah o t a r e ao fm a c h i n e l e a r n i n g f i e l d . I nv i e wo f t h e t h e o r e t i c a l s i g n i f i c a n c ea n dp r a c t i c a lv a l u eo fs e m i s u p e r v i s e dl e a r n i n g , s e m i s u p e r v i s e dl e a r n i n g m e t h o d sw e r er e v i e w e di nt h i sp a p e rs y s t e m a t i c a l l y .F i r s t l y , s o m ec o n c e p t sa b o u ts e m i s u p e r v i s e d l e a r n i n g w e r es u mm a r i z e d ,i n c l u d i n g d e f i n i t i o n o fs e m i s u p e r v i s e dl e a r n i n g ,d e v e l o p m e n to f r e s e a r c h, a s s u m p t i o n sr e l i e do ns e m i s u p e r v i s e dl e a r n i n g m e t h o d sa n dc l a s s i f i c a t i o n o fs e m i s u p e r v i s e dl e a r n i n g .S e c o n d l y ,s e m i s u p e r v i s e d l e a r n i n g m e t h o d s w e r e d e t a i l e d f r o m f o u r a s p e c t s , i n c l u d i n g c l a s s i f i c a t i o n ,r e g r e s s i o n ,c l u s t e r i n g ,a n d d i m e n s i o n r e d u c t i o n .T h i r d l y , t h e o r e t i c a la n a l y s i so n s e m i s u p e r v i s e dl e a r n i n g w a ss t u d i e d ,a n d e r r o rb o u n d sa n d s a m p l e c o m p l e x i t yw e r eg i v e n. F i n a l l y , t h e f u t u r er e s e a r c ho ns e m i s u p e r v i s e dl e a r n i n gw a sd i s c u s s e d . semisupervisedl e a r n i n g ;