PDF《3.1 期望与反期望深度学习模型》

深度学习模型不是万能的, 在有些场景或应用中会出现局限性, 因此需要提高现有深度 学习模型的适应性.

本章给出了两种适应型深度学习模型:期望与反期望深度学习模型、 残缺数据深度学习模型.

3 .

1 期望与反期望深度学习模型 深度学习模型通过输入数据和输出数据对深度学习模型进行训练.如果有 的输入数据在不同场景下能产 生属性相反的输出数据(这是有可能的, 假如还有影响输出结果的其他条件数据没有包括在输入数据中, 那么就有可能因为其他条件数据的变化, 而产生不同的输出数据) , 此时就会在训练过 程中引起深度学习模型结构的动荡, 不利于深度学习模型的训练, 也不利于深度学习模型的使用, 因为无法得知输出数据的可信度是多少[

1 1,

1 2] . 例如, 深度学习模型判断一个人是不 是男的, 输入不同人的人脸特征, 同样脸部特征的人可能是男的, 也可能是女的, 此时就会在训练过程中引起深度学习模型结构的动荡. 本技术研究并给出了一种新的期望与反期望深度学习方法和神经网络系统, 通过输 出数据的期望标签和反期望标签构造两个深度学习模型, 分别对与期望标签对应的深度 学习模型和与反期望标签对应的深度学习模型进行训练, 避免了深度学习模型当存在属 性相反的输出数据时结构动荡的问题, 提高了深度学习模型训练的可靠性.

4 9 3. 1.

1 期望与反期望深度学习方法 如图3 - 1所示, 本技术方案提供一种期望与反期望深度学习方法, 可包括以下步骤: 图3 -

1 期望与反期望深度学习方法流程 (

1 )步骤S 1, 获取训练数据中输出数据的期望标签和反期望标签;

其中, 反期望标签是 与期望标签的属性相反的标签. 例如, 获取输出数据的期望标签 男人 , 反期望标签 女人 . (

2 )步骤S 2, 初始化与期望标签对应的深度学习模型, 得到期望深度学习模型;

初始化 与反期望标签对应的深度学习模型, 得到反期望深度学习模型. 其中, 期望标签对应的深度学习模型的输入格式初始化为训练数据中的输入数据格式;

反期望标签对应的深度学习模型的输入格式也初始化为训练数据中的输入数据格式.期望 深度学习模型的输出格式初始化为0~1之间的数, 输出为1时, 表示输出为期望标签;

输 出为0时, 表示输出不是期望标签;

输出为0~1时, 表示输出有可能是期望标签.反期望 深度学习模型的输出格式初始化为0~1的数, 输出为1时, 表示输出为反期望标签;

输出 为0时, 表示输出不是反期望标签;

输出为0~1时, 表示输出有可能是反期望标签.同时, 获取已有同类深度学习模型的配置信息( 预设配置信息包括:预设层数、 每层预设节点数、 各网络连接的预设权值) 作为期望标签对应的深度学习模型的配置信息对期望标签对应的 深度学习模型进行配置, 同时也将该配置信息作为反期望标签对应的深度学习模型的配置 信息对反期望标签对应的深度学习模型进行配置. 例如, 初始化与期望标签 男人 和反期望标签 女人 对应的两个深度学习模型, 称为期 望标签 男人 深度学习模型、 反期望标签 女人 深度学习模型. (

3 )步骤S 3, 分别对期望深度学习模型和反期望深度学习模型进行训练. 在一个技术方案中, 本步骤可以采用以下方式实现: ① 步骤S

3 - 1, 通过训练数据中的输入数据分别对期望深度学习模型和反期望深度学习 模型进行无监督训练. 例如, 通过训练数据中的输入数据人脸图像分别对期望标签 男人 深度学习模型、 反期 望标签 女人 深度学习模型进行无监督训练.对期望深度学习模型、 反期望深度学习模型 进行无监督训练, 可采用同样的输入数据集合.

5 0 ② 步骤S

3 - 2, 从训练数据中获取与期望标签一致的输出标签对应的输入数据, 将该输 入数据作为输入, 将

1 作为预期输出, 对期望深度学习模型进行有监督训练, 并从训练数据 中获取与期望标签及反期望标签都不一致的输出标签对应的输入数据, 将该输入数据作为 输入, 将

0 作为预期输出, 对期望深度学习模型进行有监督训练. 可以将训练数据中与期望标签一致的输出标签对应的输入数据作为第一输入数据;

从 第一输入数据中筛选出第一预设比例( 假设为 P%, P 为0~1

0 0的实数) 的第一输入数据, 得到对应的每一第二输入数据( 即将第一输入数据中 P%的数据保留, 其余数据清空, 得到 对应的每一第二输入数据) ;

将每一第二输入数据作为输入, 将第一预设比例作为预期输 出, 对期望深度学习模型进行有监督训练. 之所以不进行从训练数据中获取与反期望标签一致的输出标签对应的输入数据, 将该 输入数据作为输入, 将

0 作为预期输出, 对期望深度学习模型进行有监督训练, 是因为与反 期望标签一致的输出标签所对应的输入数据有可能与期望标签一致的输出标签所对应的输 入数据类似( 例如, 有的男人和女人的脸部特征很相像) , 从而导致类似的输入数据在同一个 深度学习模型中产生不同的输出标签, 进而会对期望深度学习模型的训练效果产生负面 影响. 例如, 从训练数据中获取与期望标签 男人 一致的输出标签( 预期输出为

1 ) 及其对应 输入数据人脸图像对期望标签 男人 深度学习模型进行有监督训练;

从训练数据中获取与 期望标签 男人 及反期望标签 女人 都不一致的输出标签( 预期输出为

0 ) 及其对应输入 数据( 例如动物头像) 对期望标签 男人 深度学习模型进行有监督训练;

从训练数据中获取 与期望标签 男人 一致的输出标签( 预期输出为

1 ) 及其对应输入数据人脸图像, 将输入数 据人脸图像中6 0%的部分保留( 可随机选择, 也可以均匀选择, 或按照一定预设方式选择需 要保留的部分) , 其余4 0%的部分从图像中清除( 可随机选择, 也可以均匀选择, 或按照一定 预设方式选择需要保留的部分) , 然后将处理后的输入数据人脸图像作为新输入数据人脸图 像, 将输出数据

1 变为新输出数据

6 0% , 对期望标签 男人 深度学习模型进行有监督 训练. ③ 步骤S

3 - 3, 从训练数据中获取与反期望标签一致的输出标签对应的输入数据, 将该 输入数据作为输入, 将

1 作为预期输出, 对反期望深度学习模型进行有监督训练, 并从训练 数据中获取与期望标签及反期望标签都不一致的输出标签对应的输入数据, 将该输入数据 作为输入, 将

0 作为预期输出, 对反期望深度学习模型进行有监督训练. 可以将训练数据中与反期望标签一致的输出标签对应的输入数据作为第三输入数据;

从每一第三输入数据中筛选出第二预设比例( 假设为 P%, P 为0~1

0 0的实数) 的数据, 得 到对应的每一第四输入数据( 即将每一第三输入数据中 P%的数据保留, 其余数据清空, 得 到对应的每一第四输入数据) ;

将每一第四输入数据作为输入, 将对应的第二预设比例作为 预期输出, 对反期望深度学习模型进行有监督训练. 例如, 从训练数据中获取与反期望标签 女人 一致的输出标签( 预期输出为

1 ) 及其对 应输入数据人脸图像对反期望标签 女人 深度学习模型进行有监督训练;

从训练数据中获 取与期望标签 男人 及反期望标签 女人 都不一致的输出标签( 预期输出为

0 ) 及其对应 输入数据( 例如动物头像) 对期望标签 女人 深度学习模型进行有监督训练. 从训练数据中获取与反期望标签 女人 一致的输出标签( 预期输出为

1 ) 及其对应输

5 1 入数据人脸图像, 将输入数据人脸图像中6 0%的部分保留( 可随机选择, 也可以均匀选择, 或按照一定预设方式选择需要保留的部分) , 其余4 0%的部分从图像中清除( 可随机选择, 也可以均匀选择, 或按照一定预设方式选择需要保留的部分) , 然后将处理后的输入数据人 脸图像作为新输入数据人脸图像, 将输出数据

1 变为新输出数据

6 0% , 对反期望标签 女人 深度学习模型进行有监督训练. 在分别对期望深度学习模型和反期望深度学习模型进行训练之后, 还可以计算输入数 据对应的输出属于期望标签及反期望标签的可信度.可以将输入数据输入期望深度学习模 型, 得到期望深度学习模型的输出数据;

将输入数据输入反期望深度学习模型, 得到反期望 深度学习模型的输出数据;

根据期望深度学习模型与反期望深度学习模型的输出数据得到 输入数据对应的输出属于期望标签及反期望标签的可信度. 例如, 获取输入数据人脸图像, 将输入数据人脸图像输入期望深度学习模型, 得到期望 深度学习模型的输出数据, 该输出数据为0~1的数, 越接近1, 则表明输出为期望标签的概 率越大;

将输入数据输入反期望深度学习模型, 得到反期望深度学习模型的输出数据, 该输 出数据为0~1的数, 越接近1, 则表明输出为反期望标签的概率越大. 在计算可信度时, 可以将期望深度学习模型的输出数据作为输出属于期望标签的概率 记为 A, 将反期望深度学习模型的输出数据作为输出属于反期望标签的概率记为 B;

将输 入数据对应的输出属于期望标签或反期望标签的可信度记为F, 则F=( A+B) / 2;

输入数 据对应的输出属于期望标签的可信度为 F*A, 属于相反标签的可信度为 F*B, 属于其他 标签的可信度为1-F. 例如, 如果这个人是男人, 那么这个人是男人的概率是 F*A, 作为这个人是男人的可 信度;

是女人的概率是F*B, 作为这个人是女人的可信度;

属于其他标签的概率为1-F, 作为这个人既不是男人又不是女人的可信度. 深度学习模型判断一个人是不是男人, 训练数据中输入头像图像, 如果训练数据中输出数 据是男人, 则用 男人 标签对应的深度学习模型进行训练, 例如用输出

1 代表是男人, 用

0 代表不是男人( 例如是动物) ;

如果训练数据中输出数据是女人, 则用 女人 标签对应的深度 学习模型进行训练, 例如用输出用0 ~ 1的数来代表是女人的可能性大小, 用1代表是女人, 用 0代表不是女人( 例如是动物) ;

如果训练数据中输出数据是跟男人、 女人无关的, 例如动物, 则 男人 标签对应的深度学习模型和 女人 标签对应的深度学习模型同时进行训练. 在使用时, 输入一个数据到 男人 和 女人 标签对应的深度学习模型同时计算, 如果 男人 标签对应的深度学习模型输出0. 8;

如果 女人 标签对应的深度学习模型输出0. 5, 则输出是 男人 或 女人 的可信度是( 0. 8+0. 5) / 2=0.

6 5=6 5%, 输出不是 男人 或 女人 的可信度是1-6 5%=3 5%, 输出是 男人 的可信度是6 5%*0. 8=5 2%, 输出是 女人 的可信度是6 5%*0. 5=3 2. 5%, 相对而言是 男人 的可信度更高, 所以判断为 男人 . 3. 1.

2 期望与反期望深度学习系统 如图3 - 2所示, 本技术方案还提供一种神经网络系统, 可包括: (

1 )标签获取模块1, 用于获取训练数据中输出数据的期望标签和反期望标签;

其中,

5 2 图3 -

2 深度学习系统的结构示意图 反期望标签是与期望标签的属性相反的标签. 例如, 获取输出数据的期望标签 男人 和反期望标 签 女人 . (

2 )初始化模块2, 用于初始化与期望标签对应的深 度学习模型, 得到期望深度学习模型, 初始化与反期望标 签对应的深度学习模型, 得到反期望深度学习模型. 其中, 期望标签对应的深度学习模型的输入格式初始化为训练数据中的输入数据格式;

反期望标签对应的深度学习模型的输入格式也初始化为训练数据中的输入数据格式.期望 深度学习模型的输出格式初始化为0~1的数, 输出为

1 时, 表示输出为期望标签;

输出为

0 时, 表示输出不是期望标签;

输出为0~1的数时, 表示输出有可能是期望标签.反期望 深度学习模型的输出格式初始化为0~1的数, 输出为

1 时, 表示输出为反期望标签, 输出 为

0 时, 表示输出不是反期望标签;

输出为0~1的数时, 表示输出有可能是反期望标签. 同时, 获取已有同类深度学习模型的配置信息( 预设配置信息包括:预设层数、 每层预设节 点数、 各网络连接的预设权值) 作为期望标签对应的深度学习模型的配置信息对期望标签对 应的深度学习模型进行配置, 同时也将该配置信息作为反期望标签对应的深度学习模型的 配置信息对反期望标签对应的深度学习模型进行配置. 例如, 初始化与期望标签 男人 和反期望标签 女人 对应的两个深度学习模型, 称为期 望标签 男人 深度学习模型、 反期望标签 女人 深度学习模型. (

3 )训练模块3, 用于分别对................