PDF《结构稀疏模型》

sd o u b l eo b j e c t i v ef u n c t i o n, f i r s to r d e rT a y l o re x p a n s i o na n ds e c o n do r d e r T a y l o re x p a n s i o n .O p t i m i z a t i o na l g o r i t h m ss o l v i n ga p p r o x i m a t eo b j e c t i v ef u n c t i o no fs t r u c t u r e s p a r s em o d e l a r ec a r r i e do u tad e t a i l e dc o m p a r a t i v ea n a l y s i so nt h ec o n c e p t i o n , t h ef e a t u r e sa n d p e r f o r m a n c e ,w h i c hi n v o l v e s m i n i m u m a n g l er e g r e s s i o n ,g r o u p L e a s ta n g l er e g r e s s i o n ,b l o c k c o o r d i n a t ed e s c e n ta l g o r i t h m, b l o c kc o o r d i n a t eg r a d i e n td e s c e n ta l g o r i t h m, l o c a l c o o r d i n a t ed e s c e n t a l g o r i t h m, s p e c t r u m p r o j e c t i o ng r a d i e n tm e t h o d , a c t i v es e ta l g o r i t h ma n da l t e r n a t i n gd i r e c t i o n m e t h o do fm u l t i p l i e r s , s o m e f u t u r er e s e a r c hd i r e c t i o n sa r ed i s c u s s e d i nt h e f i n a l s e c t i o n. sparsitym o d e l ;

s t r u c t u r e ds p a r s i t ym o d e l ;

g r o u ps t r u c t u r es p a r s i t ym o d e l ;

m u l t i l a y e r S p a r s es t r u c t u r em o d e l ;

t r e es t r u c t u r es p a r s em o d e l ;

g r a p hs t r u c t u r es p a r s em o d e l ;

s t r u c t u r e d s p a r s ed i c t i o n a r yl e a r n i n g ;

s t r u c t u r e ds p a r s ec o d i n g ;

a r t i f i c i a l i n t e l l i g e n c e

1 引言在统计机器学习研究中, 需要学习高维数据的 模型, 样本的维数高达数十万维, 如果强行在高维数 据上建立高维模型, 建立的模型就会失去模型的解 释性, 找不到与输出变量最相关的输入影响因素. 另 外根据人类大脑认知、 学习和推理的过程可知, 高维 数据总是在低维空间中进行学习和推理, 信息论、 编 码理论和压缩传感理论也说明, 高维数据完全可以 从低维数据重构出来, 而且能够在概率意义上统计 得知担保重构误差很小. 另一个原因是统计学中发现模型降维, 即只选 择少量的预测变量比精确地求解包含全部预测变量 的最小二乘和极大似然估计问题, 能够解决模型过 拟合问题. 但是难点在于选择几个预测变量, 选择哪 几个变量, 有的学者提出用 C p 、 A I C 和BIC等准则 确定所选变量的个数. 套索模型( L e a s t a b s o l u t es h r i n k a g ea n ds e l e c t i o n o p e r a t o r , L a s s o ) [

1 ] 能够同时实现变量选择和模型参 数估计. T i b s h i r a n i提出的套索为 a r gm i n β∈12-卅22+λ・ β

1 (

1 ) 其中λ0,・ 2表示 2范数,β 1=∑ =1 β 表示向 量β的1范数, 亍臆 *,臆 , β∈ 叫做模型向 量, 荦 为样本个数, 为变量个数. 套索的解为满足 以下条件的β ^ T(-卅^)=λs i g n ( β ^ ) i f β ^ 椤0 T(-卅^)λifβ^=0 (

2 ) 这里 槲卣氐 列, s i g n ( ・) 为符号函数. 当β^>

0时, s i g n ( β ^ ) =1;

β ^ 瞀忙(17)由式(

1 7 ) , 令γ→ ∞、 λ( θ) = λ θ, 由此可以得到 结论: 2范数组 MC模型在γ→ ∞时近似为组套索. 式(

1 7 ) 中的 MC罚[

3 5] 与S C A D 罚类似, 也是一种非 凸的罚函数, 其对模型向量分量的压缩程度随着分 量大小增大而逐渐较小, 构造的模型也往往具有变 量选择一致性. 对于 2范数组 MC 罚模型来说, 由 于在组水平上使用了非凸的 MC 罚, 因此 2范数组 MC罚模型具有变量组选择一致性.

3 多层结构稀疏模型