PDF《结构稀疏模型》

第4 0卷第6期2017年6月计算机学报CH I N E S EJ OUR NA LO FC OMP UT E R S V o l .

4 0 N o .

6 J u n e2

0 1

7 收稿日期:

2 0

1 6

0 1

2 5;

在线出版日期:

2 0

1 6

0 9

2 7. 刘建伟, 男,

1 9

6 6年生, 博士, 副研究员, 主要研究方向为机器学习、 智能信息处理、 复 杂系统的分析、 预测与控制. E m a i l : l i u j w@c u p . e d u . c n . 崔立鹏, 男,

1 9

9 0年生, 硕士研究生, 主要研究方向为机器学习. 罗雄麟, 男,

1 9

6 3 年生, 博士, 教授, 主要研究领域为智能控制和复杂系统的分析、 预测与控制. 结构稀疏模型 刘建伟 崔立鹏 罗雄麟 ( 中国石油大学( 北京) 自动化系 北京

1 0

2 2

4 9 ) 摘要由于生物信息学、 心理学诊断、 计算语言与语音学、 计算机视觉、 门户网站、 电子商务、 移动互联网、 物联网 中处理高维和超高维数据的需求不断涌现, 迫切需要研究具有变量选择和特征降维功能的回归和分类模型, 所以以 L a s s o 、 自适应 L a s s o和e l a s t i cn e t等为代表的稀疏模型近年来在机器学习领域中非常流行. 然而, 这些稀疏模型没 有考虑变量中存在的组结构、 重叠组结构、 双层稀疏结构、 多层稀疏结构、 树结构和图结构等结构化信息. 结构稀疏 模型考虑了这些结构先验信息, 改善了模型对特征选择的结果和稀疏模型在相应结构稀疏化数据背景下的统计特 性. 结构稀疏化模型是当前稀疏学习领域的研究方向, 近几年来涌现出很多研究成果, 文中对主流的结构稀疏模 型, 如组结构稀疏模型、 结构稀疏字典学习、 双层结构稀疏模型、 树结构稀疏模型和图结构稀疏模型进行了总结, 对 结构稀疏模型目标函数中包含非可微、 非凸和不可分离变量的结构稀疏模型目标函数近似转换为可微、 凸和可分 离变量的近似目标函数的技术如控制 受控不等式( M a j o r i t y M i n o r i t y , MM) , N e s t e r o v双目标函数近似方法, 一阶 泰勒展开和二阶泰勒展开技术, 对求 解结构稀疏化模型近似目标函数的优化算法如最小角回归算法、 组最小角回归算法( G r o u pL e a s tA n g l eR e g r e s s i o n , G r o u pL A R S ) 、 块坐标下降算法( b l o c kc o o r d i n a t ed e s c e n ta l g o r i t h m) 、 分 块坐标梯度下 降算法(blockc o o r d i n a t eg r a d i e n td e s c e n ta l g o r i t h m) 、 局部坐标下降算法(localc o o r d i n a t ed e s c e n t a l g o r i t h m) 、 谱投影梯度法( S p e c t r a l P r o j e c t e dG r a d i e n t a l g o r i t h m) 、 主动集算法( a c t i v e s e t a l g r i t h m) 和交替方向乘子 算法( A l t e r n a t i n gD i r e c t i o nM e t h o do fM u l t i p l i e r s , A DMM) 进行了比较分析, 并且对结构稀疏模型未来的研究方向 进行了探讨. 关键词 稀疏化模型;

结构稀疏化模型;

组结构稀疏模型;

多层稀疏结构模型;

树结构稀疏化模型;

图结构稀疏化模 型;

结构稀疏字典;

结构稀疏码;

人工智能 中图法分类号 T P

1 8 珊

1 0.

1 1

8 9

7 / S P. J .

1 0

1 6.

2 0

1 7.

0 1

3 0

9 犁淅 LIUJ i a n W e i C U IL i P e n g L UOX i o n g L i n ( 遄 镒, 樽 状 , 樽102249)Asc o n t i n u i n gt oe m e r g ed e m a n do fh i g h d i m e n s i o n a la n d u l t r a h i g h d i m e n s i o n a l r e g r e s s i o na n dc l a s s i f i c a t i o ni nb i o i n f o r m a t i c s ,p s y c h o l o g yd i a g n o s i s , c o m p u t a t i o n a ll i n g u i s t i c s a n dp h o n e t i c s , c o m p u t e rv i s i o n, t h eP o r t a ls i t e , e c o mm e r c e ,m o b i l eI n t e r n e t , a n dI n t e r n e to f T h i n g s , t h e r ei sa nu r g e n tn e e dt os t u d yh i g hd i m e n s i o n a la n du l t r a h i g hd i m e n s i o n a lv a r i a b l e s e l e c t i o na n df e a t u r ed i m e n s i o nr e d u c t i o n i nr e g r e s s i o na n dc l a s s i f i c a t i o nm o d e l .T h u st h es p a r s e m o d e l sh a v eb e e nq u i t ep o p u l a r i nr e c e n ty e a r s , s u c ha s t h eL a s s o , a d a p t i v eL a s s oa n dt h ee l a s t i c n e t .H o w e v e r , t h e s e s p a r s em o d e l s i g n o r e t h e s t r u c t u r a l i n f o r m a t i o no f t h ev a r i a b l e s , s u c ha s t h e g r o u ps t r u c t u r e s p a r s i t y , o v e r l a p p i n gg r o u ps t r u c t u r e s p a r s i t y , b i l e v e l s p a r s e s t r u c t u r e ,M u l t i l a y e r S p a r s es t r u c t u r e , t r e es t r u c t u r es p a r s i t ya n dg r a p hs t r u c t u r es p a r s i t y .T h es t r u c t u r e ds p a r s e m o d e l s t h a t c o n s i d e r t h i ss t r u c t u r a lp r i o r i n f o r m a t i o nc a ni m p r o v et h es t a t i s t i cp r o p e r t i e so ft h e s p a r s em o d e l s w h e nf a c i n g w i t ht h ec o r r e s p o n d i n gs t r u c t u r es p a r s ed a t a s e t s .T h es t r u c t u r e d s p a r s em o d e l sa r et h eh o tr e s e a r c hd i r e c t i o no ft h es p a r s e m o d e ll e a r n i n ga n d m a n yr e s e a r c h f i n d i n g sa p p e a r i nr e c e n ty e a r s . T h i sp a p e rg i v e sas y s t e m a t i c s u r v e yo fm a i n s t r e a mo f s t r u c t u r e d s p a r s i t y m o d e l ,s u c ha sg r o u ps t r u c t u r es p a r s e m o d e l ,s t r u c t u r es p a r s ed i c t i o n a r yl e a r n i n g , b i l e v e l s t r u c t u r es p a r s em o d e l , a n dt r e es t r u c t u r es p a r s em o d e la n dg r a p h i c a ls t r u c t u r es p a r s e m o d e l . A so b j e c t i v e f u n c t i o no f s t r u c t u r es p a r s em o d e l c o n t a i n sn o n d i f f e r e n t i a l , n o n c o n v e xa n d n o n s e p a r a b l ev a r i a b l e , o b j e c t i v e f u n c t i o no f s t r u c t u r es p a r s em o d e l f i r s tn e e d s t ob ea p p r o x i m a t e l y t r a n s f o r m i n t o d i f f e r e n t i a b l e ,c o n v e x a n d s e p a r a b l e v a r i a b l e o n e s . T h e m a i n a p p r o x i m a t e t r a n s f o r m a t i o n m e t h o d sa r es u mm a r i z e d , i n c l u d i n g m a j o r i t y m i n o r i t yi n e q u a l i t y ,a p p r o x i m a t e m e t h o do fN e s t e r o v '