PDF《结构稀疏模型》

3

1 双层稀疏模型 所谓双层结构稀疏模型指的是既能够实现变量 组稀疏又能够实现变量组内变量选择的稀疏模型, 即同时实现组稀疏性和组内变量的稀疏性, 其变量 选择的示 意图如图7所示, 变量选择的结果为从5个变量组中选择出了2个变量组, 与此同时被选 择出的变量组中也并非包含原变量组中的全部变 量, 换句话说既具有组稀疏性又具有组内稀疏性. 例如, 在文献[

3 6 ] 的表3中, 不仅期望探究哪些组变量 对体质指数有显著影响, 而且期望探究哪些组变量 中的哪个变量对体质指数具有显著影响;

再比如, 在 遗传关联研究中, 每个基因上都有多个变异点, 这些 位于同一个基因上的变异点自然应该被视为位于同 一个分组, 因而希望在识别出与疾病发生相关的产 生变异的基因的同时也识别出基因内部与疾病发生 相关的变异点[

3 7] . 双层结构稀疏模型大体可被分为 两类: 罚函数为加和形式的稀疏组套索和 1范数组 S C A D模型等一类由层次罚函数构成的双层结构稀 疏模型.

3 .

1 .

1 稀疏组套索 套索导致的模型稀疏性是变量水平上的稀疏 性, 能够实现组内的变量选择;

组套索导致的模型稀 疏性是组水平上的稀疏性, 能够实现组内的变量选 择. 然而很多时候我们既希望将重要的变量组选择 出来, 又希望将变量组中重要的变量选择出来, 组套 索显然不能满足这种要求. 如果将 1范数罚添加到 组套索的目标函数中, 那么既可以实现变量组水平 上的模型稀疏性, 又可以实现变量水平上的模型稀 疏性, 即同时实现变量组选择和组内的变量选择, 我 们将这种组套索叫做稀疏组套索. 已知式(

5 ) 中的线 性回归模型, 令辍{ 1, …, } 表示变量组的索引, 稹{ 1, …, } 表示变量的索引, 则稀疏组套索问题 ( S p a r s eG r o u pL a s s o ) [

3 8 ] 为β^=a r gm i n β∈12-卅22+ λ

1 ∑ =1 β 2+ λ

2 β 1(

1 8 ) 其中λ

10、 λ 20. β 瓯硎镜 个组对应的子模型向 量, 罚项λ

1 ∑ =1 β 2约束组向量个数和组变量内各 变量的下标索引值;

罚项λ

2 β 1约束组子模型向量 的分量的大小. 稀疏组套索可被看作是两层的树组 套索, λ

1 ∑ =1 β 2看作是根节点约束, λ

2 β

1 为叶子 节点约束. C h a t t e r j e e等人[

3 9 ] 指出稀疏组套索在满 足一定条件时具有参数估计一致性, 并给出了满足 参数估计一致性所需要的假设条件.

3 .

1 .

2 由层次罚构成的一类双层稀疏模型 图7所示为双层结构稀疏模型的稀疏化效果. H u a n g等人[

1 9 ] 构造了一种层次罚函数 ∑ =1 out∑=1 in( β {})(19)其中 晡 个变量组所含的变量数, 并且要求内 部的罚函数 i n在[ 0, +∞) 上为凹函数, 则由这种罚 函数构成的稀疏模型能够实现双层的变量选择. 由 这种层次罚函数构成的具有双层稀疏性的结构稀疏 模型有很多: 1范数组S C A D 模型[

2 4 ] 的罚函数内部 采用了 1范数罚, 外部采用了 S C A D 罚;

1范数组 MC模型[

2 4 ] 的罚函数内部采用了 1范数罚, 外部采 用了 MC罚;

1范数组桥模型[

2 4 ] 的罚函数内部采用 了 1范数罚, 外部采用了桥罚;

指数组套索( G r o u p E x p o n e n t i a lL a s s o ) [

3 7 ] 内部采用了 1范数罚, 外部 采用了 E x p o n e n t i a l罚;

复合组 MC 模型[