DOC《Fisher线性判别分析实验报告》

Fisher线性判别分析实验报告

一、摘要 Fisher线性判别分析的基本思想:通过寻找一个投影方向(线性变换,线性组合),将高维问题降低到一维问题来解决,并且要求变换后的一维数据具有性质:同类样本尽可能聚集在一起,不同类样本尽可能地远.

Fisher线性判别分析,就是通过给定的训练数据,确定投影方向w和阈值y0,即确定线性判别函数,然后根据这个线性判别函数,对测试数据进行测试,得到测试数据的类别.

二、算法的基本原理及流程图

1 基本原理 W的确定 各类样本均值向量 mi 样本类内离散度矩阵和总类内离散度矩阵 样本类间离散度矩阵 在投影后的一维空间中, 各类样本均值 样本类内离散度和总类内离散度 样本类间离散度 Fisher准则函数满足两个性质: 投影后,各类样本内部尽可能密集,即总类内离散度越小越好. 投影后,各类样本尽可能离得远,即样本类间离散度越大越好. 根据这个性质确定准则函数,根据使准则函数取得最大值,可求出w (2) 阈值的确定 实验中采取的方法: (3) Fisher线性判别的决策规则 对于某一个未知类别的样本向量 x,如果y = WTx >y0, 则x∈w1 否则x∈w2 流程图 方差标准化 (归一化处理) 一个样本集中,某一个特征的均值与方差为: 归一化:

三、实验结果分析 男女同学身高体重,训练数据和测试数据都是50 当采用StudentData1作为训练数据,StudnetData2作为测试数据时 男孩类的错误率 女孩类的错误率 总的错误率 0.04 0.14 0.09 当采用StudnetData2作为训练数据,StudentData2作为测试数据时 男孩类的错误率 女孩类的错误率 总的错误率 0.02 0.06 0.04 IonoSphere数据 G类错误率 B类错误率 总的类错误率 第一组数据 0.31 0.29 0.30 第二组数据 0.32 0.27 0.30 第三组数据 0.31 0.28 0.29 第四组数据 0.30 0.37 0.32 第五组数据 0.30 0.31 0.31 第六组数据 0.78 0.27 0.60 第七组数据 0.42 0.25 0.36 第八组数据 0.30 0.31 0.30 第九组数据 0.29 0.40 0.33 第十组数据 0.34 0.25 0.31 考虑到第一组数据训练数据多,下面的实验以第一组数据的训练数据作为训练数据,分别用其他组的测试数据进行测试 G类错误率 B类错误率 总的类错误率 第一组数据 0.31 0.29 0.30 第二组数据 0.31 0.26 0.29 第三组数据 0.32 0.26 0.30 第四组数据 0.31 0.26 0.29 第五组数据 0.31 0.26 0.29 第六组数据 0.28 0.26 0.27 第七组数据 0.32 0.25 0.30 第八组数据 0.31 0.27 0.29 第九组数据 0.30 0.26 0.28 第十组数据 0.31 0.26 0.29 从实验结果看,Fisher线性判别用于两类的判别决策时,拥有不错的效果,并且当有足量的训练数据时,效果更好.

四、体会 通过Fisher线性判别分析程序,对模式识别领域处理问题的一般步骤有了更好的理解,首先是通过训练数据,得到线性判别函数,即决策规则,构造出分类器,然后根据构造出来的分类器,对测试数据进行判别,得到测试数据的类别,最后对分类器的分类效果进行评估.