PDF《一种协方差矩阵的多尺度量子谐振子算法》

n. 文中默认所有的样本协方差矩阵都满足定理1. 如果C 正定,则可以通过矩阵正交分解得到规范正交 基B = [b1, b2,bn],特征值构造的对角矩阵记作 D2 , 其对应的特征值 d2 1, d2 2,d2 n >

0, d1, d2, dn >

0,其正交分解可以表示为 C = BD2 BT , (3) 同样定义C 的均方根 C

1 2 = BDBT = Bdiag(d1, d2,dn)BT , (4) 也很容易推出 C?

1 2 = BD?1 BT = Bdiag (

1 d1 ,

1 d2

1 dn ) BT . (5) 最终多元正态分布N(m, c)可以写为 N(m, C) ? m + N(0, C) ? m + C

1 2 N(0, I) ? m + BDBT N(0, I) ? m + BDN(0, BT IB) ? m + BN(0, D2 ), (6) 其中I 为单位矩阵式. 式(6)的几何意义描述了等密 度超椭圆面的形态,其中心点为m, D 对角线各元素 表示这个超椭圆面的轴长,对于二元正态分布而言, 对应椭圆的长轴和短轴. B 表示超椭圆面的旋转矩 阵,对于二元正态分布而言,对应椭圆逆时针旋转角 度大小,但对于高维超椭圆面旋转变得复杂,旋转程 度不再由角度来刻画,其中一个元素的变化将影响多 个平面子空间.

2256 控制与决策第32卷2.1 改进的QHO收敛过程 原QHO过程的采样搜索点根据多元正态分布生 成, λ个采样搜索点均满足 xk ? N(m, D2 ) ? m + N(0, D2 ), k = 1, 2,λ. (7) 其中: D = diag(σ1,σi,σn), σi 为第i维的标 准差;

m = (m1, m2,mi,mn), mi 为第i 维的 均值. 当D上对角线各元素值相等时, QHO采样点的 等密度曲面为高维球面;

不相等时,其等密度曲面为 高维椭球面. 绘制其等密度曲线, 如图

1 所示. 其中: 灰色曲线为某二维椭球面z = felli(x, y)在一定区域 内的等高线,黑点为均值向量m 所在位置,即中心点. 图12种二维高斯分布等密度曲线 可以看到,图1(a)中的两条曲线为圆形,图1(b)中 的两条曲线为以坐标轴为轴的椭圆,图1(a)为图1(b) 长轴和短轴相等的特例. 如前所述,轴长与D 的对角 线元素对应, 图1(a) 中D各元素相等, 均等于某个 σ 值, 图1(b) 中的 D 具有不同的 σ. MQHOA 初始化 D 后, QHO的收敛过程依赖于D,在没有到达QHO收敛 条件的情况下, D 始终不变,即在各维度上没有动态 尺度变化. 多元相关性的分布估计算法(EDA)在连续域内 有一种类似 QHO 收敛过程的 EMNA(Estimation of multivariate normal algorithm)算法,其同样采用多元 正态模型表示采样搜索点的概率分布. 在进化过程 中,每一代采用最大似然估计方法,估计多元正态分 布的均值向量和协方差矩阵[9] ,其协方差矩阵可以表 示如下: CEMNA =

1 u u ∑ i=1 (xi:λ ? m) (xi:λ ? m) T . (8) 其中: u表示从λ个采样搜索点中选取的适应度值最 好的点个数, xi:λ 表示从λ个采样搜索点中选取的适 应度值排在第 i 位的点, m =

1 u u ∑ i=1 xi:λ 为均值向 量. CEMNA 是对变量总体的一致性估计. 以二维线性 函数fl = x1 + x2 为例,利用EMNA计算最小值,演化 过程如图2所示. 图2中的散点表示EMNA的采样点, 采样点个数λ = 100,选择评估点数u = 30,'

+'

为采 样点均值向量坐标,曲线为协方差分布等密度曲面在 fl = 0处的投影. 图2CEMNA 演化过程 图2(a)为初始化采样点状态图,此时CEMNA = I;

图2(b)通过对这100个采样点对应的评价函数值 排序,选择最好的30个点来评估下一轮的CEMNA 和 均值向量 m;

图2(c) 利用式 (8) 生成新的

100 个采样 点. 虽然演化过程中采样均值点不断靠近最小点,但 由图2可知,在梯度方向上采样均值中心点的移动步 长不断减小,这容易导致其过早收敛. 对此,本文提出 新的协方差矩阵Cqho 以及均值向量的生成模型 Cqho = u ∑ i=1 ωi(xi:λ ? mold)(xi:λ ? mold);