PDF《LIBSVM》

LIBSVM

1 LIBSVM 简介 LIBSVM 是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使 用和快速有效的 SVM 模式识别与回归的软件包, 他不但提供了编译好的可在 Windows 系列系统的执行文件,还提供了源代码,方便改进、修改以及在其它操作系统上应用;

该软件还有一个特点,就是对 SVM 所涉及的参数调节相对比较少,提供了很多的默 认参数, 利用这些默认参数就可以解决很多问题;

并且提供了交互检验(Cross -SVM 回 归等问题,包括基于一对一算法的多类模式识别问题.

SVM 用于模式识别或回归时, SVM 方法及其参数、 核函数及其参数的选择, 目前国际上还没有形成一个统一的模式, 也就是说最优 SVM 算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者 利用软件包提供的交互检验功能进行寻优.ν-SVM 回归和ε-SVM 分类、νValidation) 的功能.该软件包可以在 http://www.csie.ntu.edu.tw/~cjlin/免费获得.该软件可以解决 C-SVM 分类、-SVM 回归等问题,包括基于一对一算法的多类模式识别问题.SVM 用于模式识 别或回归时,SVM 方法及其参数、核函数及其参数的选择,目前国际上还没有形成一个统一的模 式,也就是说最优 SVM 算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件 包提供的交互检验功能进行寻优.

2 LIBSVM 使用方法 LibSVM 是以源代码和可执行文件两种方式给出的.如果是 Windows 系列操作系 统,可以直接使用软件包提供的程序,也可以进行修改编译;

如果是 Unix 类系统,必 须自己编译,软件包中提供了编译格式文件,我们在 SGI 工作站(操作系统 IRIX6.5) 上,使用免费编译器 GNU C++3.3 编译通过. 2.1 LIBSVM 使用的一般步骤: 1) 按照 LIBSVM 软件包所要求的格式准备数据集;

2) 对数据进行简单的缩放操作;

3) 考虑选用 RBF 核函数;

4) 采用交叉验证选择最佳参数 C 与g;

5) 采用最佳参数 C 与g对整个训练集进行训练获取支持向量机模型;

6) 利用获取的模型进行测试与预测. 2.2 LIBSVM 使用的数据格式 该软件使用的训练数据和检验数据文件格式如下: : : ... 其中 是训练数据集的目标值,对于分类,它是标识某类的整数(支持多个 类);

对于回归,是任意实数. 是以

1 开始的整数,可以是不连续的;

为实数, 也就是我们常说的自变量. 检验数据文件中的 label 只用于计算准确度或误差, 如果它是未知的,只需用一个数填写这一栏,也可以空着不填.在程序包中,还包括 有一个训练数据实例:heart_scale,方便参考数据文件格式以及练习使用软件.可以编 写小程序,将自己常用的数据格式转换成这种格式. 2.3 Svmtrain 和Svmpredict 的用法 Svmtrain(训练建模)的用法: svmtrain [options] training_set_file [model_file] Options:可用的选项即表示的涵义如下 -s svm 类型:SVM 设置类型(默认 0)

0 -- C-SVC

1 --v-SVC

2 C 一类 SVM

3 -- e -SVR

4 -- v-SVR -t 核函数类型:核函数设置类型(默认 2)

0 C 线性:u'

v

1 C 多项式:(r*u'

v + coef0)^degree

2 C RBF 函数:exp(-r|u-v|^2)

3 Csigmoid:tanh(r*u'

v + coef0) -d degree:核函数中的 degree 设置(默认 3) -g r(gama):核函数中的?函数设置(默认 1/ k) -r coef0:核函数中的 coef0 设置(默认 0) -c cost:设置 C-SVC,? -SVR 和?-SVR 的参数(默认 1) -n nu:设置?-SVC,一类 SVM 和?- SVR 的参数(默认 0.5) -p e:设置? -SVR 中损失函数?的值(默认 0.1) -m cachesize:设置 cache 内存大小,以MB 为单位(默认 40) -e ε:设置允许的终止判据(默认 0.001) -h shrinking:是否使用启发式,0 或1(默认 1) -wi weight:设置第几类的参数 C 为weight?C(C-SVC 中的 C)(默认 1) -v n: n-fold 交互检验模式 其中-g 选项中的 k 是指输入数据中的属性数.option -v 随机地将数据剖分为 n 部 分并计算交互检验准确度和均方根误差.以上这些参数设置可以按照 SVM 的类型和 核函数所支持的参数进行任意组合,如果设置的参数在函数或 SVM 类型中没有也不 会产生影响,程序不会接受该参数;