PDF《专家论丛》

系统与控制纵横 2014年第1期50 专家论丛 回溯自校正调节器研究之路 郭雷 中国科学院数学与系统科学研究院 本文首先介绍自校正调节器在自适应控制发 展中所起的重要作用,以及对其进行理论研究所 遇到的数学困难.

其次,简单回顾自1973年瑞典 ?str?m与Wittenmark教授发表 论自校正调节 器 论文起,国际控制界在自校正调节器理论研 究中所走过的一段艰难曲折历程.接着,笔者回 顾自己的一段研究经历,介绍最终如何建立自校 正调节器的全局收敛性理论等.最后,给出了一 些研究感悟和体会. 1. 什么是 自校正调节器 ? 认识世界和改造世界是人类实践活动的基本 内容,但现实世界总存在各种不确定性.在动态 系统的结构和环境具有不确定性的情况下,如何 对系统的运动状态和性能进行实时调控,以达到 人们所期望的目的或要求(如稳定性与精确性 等),是一个具有普适性的科学技术问题.解决 这一问题的基本和必要方法是反馈控制. 自适应控制就是一种处理这类问题的反馈控 制方法.它能够在系统的内部参数和外部环境都 存在不确定性因素的情况下,根据所获得的系统 状态或输出信息,实时地对系统的动态行为和环 境变化进行某种 识别 ,并实时地自动调整控 制器的结构或参数,使被控系统达到预期的性能 指标或控制目的. 如何实现上述诱人的自适应或 智能化 思想? 一个自然的办法是将问题分解成两步:首先, 推导出最优控制规律(一般依赖于系统模型的未 知参数),然后,利用实时获得的系统信息对未 知参数进行在线估计,并用相应的估计值去实时 替代(或校正)最优控制规律中的未知参数.这 就是所谓的 必然等价原则 .相应的控制器称 为自校正(self-tuning)控制器,它是将参数估计 器与反馈控制器耦合在一起,并应用在同一个反 馈回路中.由于参数估计的不确定性, 必然等 价原则 所给出的自校正控制未必在每一步都是 最优的.但是,如果闭环控制系统的性能指标能 够渐近收敛到最优值,那也就达到 自校正 目 的了. 具体到经典自校正调节器,它是由线性随机 动态系统的 最小二乘 估计算法与 最小方 差 控制规律在线耦合而成的.毫无疑问,由这 两个最基本的 最优原理 所产生的自校正调节 器,不仅其构造美妙自然,而且具有基础的重要 性.进一步,无论模拟仿真还是实际应用,都表 明它的确具有良好性能. 然而,由于自校正调节 器在本质上,是由一组很复杂的非线性与非平稳 随机动态方程所刻画(即使被控对象是线性系统 亦然),这就使得为其建立收敛性理论会遇到预 想不到的数学困难. 那么,出现该研究困难的根本原因究竟是什 么呢?实际上,任何一个功能较为高级的 智能 化 系统,往往都具有一定程度 复杂性 的结 构,其中包含反馈机制,这似乎是 智能化 的 必然 代价 .就自校正调节器来讲,首先它利 用了具有 循环因果 规律的反馈机制, 这一

2014 No.1 All About Systems and Control

51 机制能够把(不一定理想的)系统输出信号,通 过某种方式再反馈到输入端,以便进一步改进系 统的输出信号.其次,如前所述,反馈信号的具 体设计方法是将在线估计信息和控制信号紧密耦 合在一起.因此,从理论研究上来讲,最容易出 现下面的 循环论证 :如果希望有满意的输出 信号,就需要有满意的控制信号;

但由于控制信 号直接依赖于估计信息,因此就需要有满意的估 计信息;

进一步,由于估计信息又依赖于输出信 号,从而需要有满意的输出信号,这又回到了论 证的起点! 这是理论研究出现困难的基本原因. 历史上,国际控制界许多科学家都曾对自适 应控制领域做出过重要贡献.1960年前后,在过 程控制和飞行控制等实际需求的刺激下,曾经涌 现出关于自适应控制的大量研究[1] .1958年,R. E. Kalman针对具有未知参数的线性离散时间系统 (或采样系统),提出了将最小二乘算法与控制 器设计相结合的自校正调节思想[2] .1959年,美国MIT的Whitaker等提出了连续时间系统的模型 参考自适应控制方法[3] .1961年,R. Bellman讨 论了如何将动态规划方法用于自适应控制[4] . 但是,由于当时对自适应控制系统缺乏深刻研究和 认识,一次意外的飞行试验事故等原因,导致人 们对自适应控制的研究兴趣一度减弱. 系统与控制纵横 2014年第1期52 随着计算机技术和控制理论的深入发展,自 适应控制领域在70年代得以复兴,这在很大程度 上归功于瑞典K. J. ?str?m与B. Wittenmark教授 在1973年发表的经典论文[5] .这篇论文第一次从 理论上对随机系统基于最小二乘算法的自校正调 节器进行了收敛性研究,极大地推动了自适应控 制领域的发展.正如L. Ljung教授在2000年评述 K. J. ?str?m与B. Wittenmark的论文[5]时所描述 的, 在接下来的10年中,有上千篇关于自校正 调节器的理论和应用文章出现.在理论的前沿, 这篇文章使得自校正调节器的收敛性与稳定性成 为遗留下来的公开问题.这激发了大量后续研 究.…… 在应用领域,当今实际应用中成千上 万的控制回路都是根据自校正调节器的概念设计 的,…… 自校正调节器使得自适应控制曾经失 掉的光彩在70年代初期得以复兴(revitalized) (详见[6] 423-424页). 上述这段话,无论从学科发展上还是从实际 应用上,都对自校正调节器的重要性给出了生动 具体的描述. 1993年,K. J. ?str?m教授因对自 适应控制的根本性贡献,获得IEEE颁发的最高 奖(IEEE Medal of Honor),成为现代控制论半 个多世纪的历史上继其奠基人R. E. Kalman 和R. Bellman 之后,第三位获此荣誉的控制科学家. 2. 曲折的研究历程 一般来讲,在自适应控制领域,根据直观想 法去设计一个控制算法并没有太大困难.正如上 面所指出的,真正的困难往往在于对所设计出的 控制算法,能否从理论上保证被控闭环系统具有 稳定性与收敛性等所需要的良好性能.正因为如 此,从理论上建立自适应控制系统的全局稳定性 与收敛性等,长期以来被认为是这一领域的中心 问题(central problem),引起国际控制界的极大 关注与广泛研究,成为现代控制理论发展史上的 一个绚丽篇章. 首先值得指出的是, 在世纪之交,由 IEEE 控制系统学会 组织评选出的1932-1981年间发 表的25篇开创性(seminal)控制理论文章[6] ,有3 篇文章([5,7-8]) 与自校正调节器的收敛性研究 密切相关.这些工作虽然没能最终解决自校正调 节器收敛性问题,但都取得了不同程度的重要进 展,从而产生了广泛影响. 这3篇著名论文究竟对自校正调节器研究产生 了怎样的影响? 首先,K. J. ?str?m与B. Wittenmark文章[5] 的里程碑意义和重要性已经在前面提到过.在这 篇文章中,作者在假设被控离散时间系统信号是 平稳的并且最小二乘算法收敛到某一个值(未必 是真值)的情况下,证明了控制系统性能的最优 性,这是个令人鼓舞的结果.然而,被控系统一 定是平稳的吗? 参数估计究竟是否收敛? 作者在文 章中坦承: 由于闭环系统是由非线性随机系统 来刻画,给出一个保证参数收敛的一般条件是非 常困难的(very difficult) .自校正调节器收敛 性这个理论难题,也正是从这篇文章开始被正式 提了出来. 其次,1977年L. Ljung在论文[7] 中提出了分析 一般离散时间递推算法的 常微分方程(ODE) 方法 ,并用于分析自校正调节器的渐近性质. 该文曾获IEEE-TAC的最佳论文奖,并在文献中 被广泛用于研究许多不同问题.但 ODE方法 的根本局限是必须预先假定某种稳定性,正如 L. Ljung在文章中所指出的, 这需要用其它方法 来解决 .L. Ljung 曾在K. J. Astrom的指导下于 1974年获得博士学位,自适应算法的收敛性分析 曾是他的研究课题. 第三,G. C. Goodwin 与合作者P. J. Ramadge . ..

2014 No.1 All About Systems and Control

53 和P. E. Caines的工作[8] ,虽然是作为 小文章 发表在IEEE-TAC上的,然而有趣的是,它却获 得了该刊物的最佳论文奖.该文利用一个所谓的 关键技术引理 (Key technical lemma),在 假设外界噪声为零的条件下,首次给出了一类离 散时间自适应控制算法的完整收敛性证明,从而 产生了广泛影响.但是,从理论上讲,噪声为零 的情形是太过于理想化的假设,因为在这种情况 下,通过直接对系统的线性方程组求解,就可以 在有限步之内确定出系统的未知参数,之后便无 须用自适应控制方法.因此,他们三位随后又研 究了带噪声的随机系统[9] .但是,为了理论研究 的方便,他们在[9]中将最小二乘算法简化为所谓 的 随机梯度算法 ,即将算法的增益矩阵简化 为一个标量.正如G. C. Goodwin 本人与合作者在 另一篇相关论文[10] 中所指出的,几乎在随机适应 控制的所有实际应用中,人们采用的都是最小二 乘算法而非随机梯度算法,因为前者的收敛速度 比后者快得多. 此外,国际上还有众多学者也对自校正调节 器进行过大量研究,但都没有取得实质性突破 [11] .这意味着,对自校正调节器非线性结构的关 键特性还缺乏深刻理解和透彻分析. 因为自校正调节器密切依赖最小二乘算法, 所以对最小二乘的研究毫无疑问是深入理解自校 正调节器的必要基础.最小二乘法的发明至少 可以追溯到德国著名数学家高斯(C. F. Gauss, 1777-1855),它一直是统计学中最基本的方法 之一,在当今科学技术许多领域中都有广泛的应 用,对其研究的文献也汗牛充栋.但是,自校正 调节器中的最小二乘算法研究,与传统的统计学 领域存在根本差别,主要体现在其回归向量不再 是确定性序列而是随机序列.不仅如此,由于非 线性反馈的作用,这里的回归向量序列既不独立 也不平稳.这就是自校正调节器中最小二乘算法 研究的显著特点和根本困难. 无论如何,自校正调节器收敛性研究的重要 需求,大大推动了对一般随机回归向量模型最 小二乘算法的研究,并形成了目前常用的两个 关键研究工具:随机李亚普诺夫(Lyapunov) 函数和鞅(martingale)收敛定理.在控制系统 领域,L. Ljung[12] 较早利用鞅收敛定理研究持续 激励(persistence of excitation)条件下最小二乘 算法的收敛性;

J. B. Moore受Kalman滤波研究 的启发,较早利用了随机李亚普诺夫函数来研 究最小二乘算法收敛性(见[13]定理4.3);

V. Solo[14] 对ARMAX模型的扩展最小二乘算法证 明了收敛性,并去掉了前人工作中的稳定性预警 (monitoring)需求;

陈翰馥[15] 则进一步研究了 当噪声方差随时间无界增长时,多变量ARMAX 模型的扩展最小二乘算法的收敛性和收敛速度. 最后三篇论文[13-15] ,都利用了随机李亚普诺夫函 数、非负上鞅的收敛定理和关于回归向量的激励 条件.值得提及的是,从20世纪80年代初起,美 国著名华人统计学家黎子良(T. L. Lai)与魏庆荣 (C. Z. Wei)以自校正调节器的收敛性研究为背 景,对随机回归向量模型最小二乘算法进行过一 系列重要研究.特别地,他们利用周元鑫(Y. S. Chow)的局部鞅收敛定理,通过对随机李亚普诺 夫函数精致而又完美的分析,成功得到了在某种 意义下,保证最小二乘算法收敛的 最弱 激励 条件[16] .毫无疑问,这是一项里........