PPT《学习》

为了在实际中严密论述学习定律的随机形式,再简单回顾一下概率论、随机过程、布朗运动和白噪声;

最后,对这四种非监督学习的学习定律的性质分别加以简单介绍. 确定信号的Hebbian学习定律 局部神经信号:或简化为: 确定信号的Hebbian学习定律 若 ,则第 个连接被激活若 ,则第 个连接被抑制 :是单调非下降函数,其作用就是把激励或膜电位 转化为有界信号 . 确定性的竞争学习定律(Grossberg,1969) 用是竞争信号调整信号-突触的差,即: 确定性的竞争学习定律 (Grossberg,1969) 若 ,则输出神经元场 中的第 个神经元赢得竞争;

若 ,则输出神经元场 中的第 个神经元输掉竞争. 确定性的竞争学习定律 (Grossberg,1969) 竞争可以归结为最近的模式匹配.是一个度量指示器函数. 确定性的竞争学习定律 (Grossberg,1969) 实际中, 是线线性的,即,输入模式矢量 就代表了神经元场 中的输出.此时,竞争学习准则就成为线性竞争学习准则: 确定性的微分Hebbian学习准则(Kosko,1988) 学习准则 信号速度: 虽然信号是非负的,但是速度则可正可负 确定性的微分竞争学习定律 学习法则: 微分竞争,只有改变了才学习,速度 使局部奖惩强化. 确定性的微分竞争学习定律 线性微分竞争学习法则: 布朗运动和白噪声 布朗运动的样本是一个连续的不断抖动的曲线.白噪声是理想化的布朗运动的时间导数,是在无限宽的频带上的一个平的频谱,因而具有无穷大的平均能量 三.概率空间和随机过程 随机过程是随机变量族的序列,更一般的讲,是随机矢量族的序列(即多维随机矢量).随机过程也是有序号的随机变量,不同序号的集合定义了不同的随机过程.一个有限序号集定义了一个随机矢量,如 一个有限可数的序号集定义了一个随机序列.一个连续或不连续的序号集定义了一个随机过程. 可测性 随机过程 是 的函数,就是在算子T的作用下将 映射成 .映射X必须是可测的 . 可测性 假设, 的子集 由区间乘积构成:假设 的子集 由n个被映射到 的矢量构成: 如果,则集合 是 的一个可测子集,或Borel集,则概率 也确定了. 可测性 一般来说,函数或映射当且仅当可测集的反向映射集是可测集时,才是可测的. 概率空间 定义了概率空间,a. 为概率空间提供点或元素事件b.集合集 为概率空间提供点或事 件的集合c.概率测度 把集合事件在 上以数字加权. Sigma代数 Sigma代数或Sigma场,是样本空间的集合族. 若 表示Boerl场, 的拓扑Sigma代数,它包含了 的Borel可测子集 概率测度 定义:若在的不相交子集 上是可数、加性的,即: 则 定义了一个概率测度 概率测度 概率测度把有限的非负数赋予 的集合.概率空间 上, 累积概率函数 随机矢量 其累积概率函数 为 简记为 ,或直接记为 概率密度函数 假设 有连续的偏导数,则概率密度 函数为:是非负的实数,其和或积分为1: 高斯密度函数 高斯密度函数 是最重要的概率密度函数之一 其中, 为随机矢量x的平均值 数学期望 数学期望是 互相关 互相关是 互协方差 互协方差是 互协方差阵 互协方差阵是 互相关协方差矩阵 互相关协方差矩阵 不相关 若X、Z不相关,则 独立 若X、Z相互独立,则 条件概率密度函数 条件概率密度函数 是 条件期望 条件期望是 条件独立 条件独立 指示器函数 则可以定义 指示器函数 指示器函数 数学期望 收敛定义 收敛定义 四种收敛方法: 以概率1收敛:依概率收敛 四种收敛方法: 均方收敛依分布收敛 四种收敛方法 四者关系:以概率1收敛 均方收敛 依概率1收敛 依分布收敛, 上述逆不成立. 高斯白噪声 高斯白噪声是布朗运动的伪导数过程 :连续的布朗运动扩散或Wiener过程 定义: 高斯白噪声 白噪声过程是零均值和时间域不相关的 高斯白噪声 具有有限的方差 高斯白噪声 有一个确定性的自相关函数 高斯白噪声 自相关函数为 宽平稳随机过程 当且仅当时间变化不影响