PDF《基于云计算技术的电力大数据分布式检索系统》

2018 智能电网 Smart Grid 杜红军, 等: 基于云计算技术的电力大数据分布式检索系统 Vol.34 No.9 算环境下的电力大数据挖掘.由于电力大数据库 的规模庞大, 电力大数据的组成结构复杂, 数据结 构之间具有较大的关联耦合性, 传统的数据检索方 法不能有效实现对复合型和分布式的电力大数据 检索, 数据检索的查准率不高, 传统的检索方法主 要是时频特征统计分析方法、 决策树分类检索方法 与支持向量机算法等, 其中, 文献[3]提出一种基于 Hadoop 的电力视频大数据分布式检索系统, 该方法 以Hadoop 大数据平台为基础, 将视频文件存储在 HDFS 中, 利用 FFmpeg 进行解码, 辅之以 OpenCV 函数库进行视频帧的特征提取, 采用直方图法提取 关键帧;

最后基于 Lucene 实现关键帧的索引, 系统 将检索结果通过 Web 检索界面呈现给用户, 实现了 基于 Hadoop 的电力视频大数据检索系统的设计, 但该方法计算开销较大, 对电力大数据检索的时效 性不好;

文献[4]提出基于一种基于搜索引擎 Solr 和 的大数据分布式全文检索系统, 通过 python 程序在 对HBase 中的 Rowkey 建立索引的同时还对每列数 据都建立索引, 实现了大数据分布式全文检索系统 的设计.但该方法在进行电力大数据检索中抗干 扰性不强. 针对上述问题, 本文提出基于云计算技术的电 力大数据检索系统设计方法, 首先采用多元回归分 析方法构建电力大数据库存储结构模型, 然后对混 合型的电力大数据在云计算环境下进行信息聚类 融合处理, 采用模糊特征分组聚类方法对不同属性 的电力大数据进行分组检测, 提取电力大数据的关 联规则特征量, 采用云计算技术实现电力大数据分 布式检索.最后在嵌入式环境下进行电力大数据 分布式检索系统软件设计, 并进行软件调试和仿真 实验分析, 展示了本文方法在提高电力大数据检索 查准性和查全性方面的优越性能.

1 系统的总体构架和电力大数据的 存储结构分析 1.1 系统的总体构架 为了实现对电力大数据分布式优化检索, 需要 首先构建电力大数据结构模型[5] , 电力大数据采用分 布式的数据存储模式, 电力网络基站将电力数据输 入到各个用户终端, 用户终端采用分布式本地存储 数据库实现电力大数据的信息管理控制和信息输 出, 电力大数据分布式存储结构模型如图

1 所示. 图1 电力大数据分布式存储结构模型 Fig.1 Power big data distributed memory architecture model 电力大数据分布式检索系统分为信息采集层、 数据检索层以及信息控制层, 其中数据采集层采用 分布式传感技术进行电力大数据的原始数据采集, 采集的电力大数据主要包括用电设备的功率信息、 电力网络的输出载荷信息以及终端设备的输出电 压信息等, 在信息融合层中进行电力大数据融合和 信息控制, 在信息输出层进行电力大数据的实时调 度和智能处理[6] .根据上述总体设计原理, 得到本 文设计的电力大数据分布式检索系统的总体结构 体系如图

2 所示. 图2 电力大数据分布式检索系统的总体结构 Fig.

2 General structure of the power big data distributed retrieval system 1.2 电力大数据存储结构分析 在上述电力大户数据分布式检索系统的总体 设计分析的基础上, 进行电力大数据的存储结构分 析, 假设 R 为电力大数据存储数据结构的四元组为 ( ) Ei,Ej,d,t , 电力大数据分布式检索的有限数据集为 X ={ } x1,x2,?,xn , 在电力大数据的信息存储结构模 型中, 数据集 X 含有 c 个类别, 在云计算框架下采 用MongoDB、 Storm 泛化映射进行电力大数据的分 布式存储结构设计, 假设电力大数据的特征映射为 f (k) , 在........