3 引发技术变革的电力大数据
3.1 数据规模大，数据处理时效性要求高——传统技术手段不能经济地满足业务性能需求
随着电网规模的日益扩大，以及信息化水平不断提高，数据规模日渐增大。例如，国家电网公司用电信息采集系统中的智能电表数量到2015年达到了三亿块，用采数据达到PB级。如此数量级的数据将对现今电网的数据存储和管理提出严峻挑战。
同时在数据实时性方面，目前电网公司对大用户采集频率为15分钟一次，家庭用户为1小时1次；对数据转换、插入、修改、更新需要在两次采集间隔之间完成。在传统的技术手段下，采集数据的入库时间为小时级，不能满足目前电网营业务的需求。
图3-1电网公司用电信息采集系统中的海量数据
随着电网规模的快速增长.电网结构日趋复杂，电力企业纷纷加大了输变电设备状态监测技术的推广和应用力度；随着智能输变电设备数量的不断增长，设备中进行获取与传输的各类数据也在发生几何级的增长。这些数据不仅包括了设备异常时出现的各类信号、运行过程中各类设备的状态信息，同时还包含了大量的相关数据，如地理信息、天气、现场温度与湿度，以及检测视频、图像和相关实验文档等，从而构成输变电设备状态监测大数据。
输变电设备状态监测系统中大量的监测节点不断地向数据平台 传递采集的数据，形成海量的异构数据流。数据平台不仅要可靠地存储这些数据，而且要及时地分析和处理这些数据：状态监测大数据以下五个特点対数据存储和处理技术形成了巨大的挑战。
1）输变电设备状态监测数据的体量巨大。从TB 级别跃升到PB级别。现阶段在线检测系统（变压器油色谱、局部放电、绝缘子泄漏电流，线路覆冰、电站图像监測等），涉及的数据包含结构化:.在线监测数值、台账信息等）和非结构化数据（图像等），对于一个省级的电网公司，按照10000套终端，每套终端每5分钟采集一次数据计算，每天产生数据总量约430GB。每年产生数据接近150 TB。目前，正在发展的直升机巡线所产生的红外、紫外视频信息，每年作业采集的数据量也达到了TB级别。一个数字化变电站每天产生的数据量约为3TB。随着监测系统规模的扩大，上述数据量还将成倍增加。
2）多源异构数据的相关性。在大数据应用过程中，需要对多种监测数据进行关联分析，也需要对电网系统外数据（气象、地理、环境等）与监测数据进行关联分析， 这无疑增加了输变电设备状态评估、故障预测等高级应 用的复杂度：另外.由于关联分析涉及的数据体量巨大，所使用的数据统计分析算法、数据挖掘算法的执行效率在面对大数据时也会受到很大的影响，同时对数据存储和数据分布方法提出了更高的要求。
3）时间和空间属性。监测装置节点具有地理位置属性，数据采样值具有时间属性。对状态监测数据的查询不仅局限于按照设备关键字查询，还可以基于复杂的逻辑约束条件进行多条件查询，例如查询某个指定地理区城中所有输电线路监测装置在规定时间段内所采集的数据，并对它们进行统计分析。
4）处理速度快。输变电设备状态评估、风险预测等高级应用要求对海量的历史数据进行离线分析处理， 这要求数据平台能够提供并行化的海量历史数据批处理的能力，这对系统的吞吐量提出了挑战。
5）价值密度低。以视频数据为例，连续不间断监控过程中，可能有用的数据仅仅有1~2s。在基于经验和人工的传统输变电设备状态监测评估中，只对少量异常数据关注、处理和采用，而丢弃所谓“正常数据”，然而丢弃的大量“正常数据”也可能成为故障分析判断的重要依据。
结合上述挑战，应尽快提升电力企业数据平台的存储和处理能力，加大应用研发力度，有力支撑相关电网业务应用的开发。
书名：电力大数据：能源互联网时代的电力企业转型与价值创造
ISBN：978-7-111-51693-4
作者：赖征田
出版日期：2016-01
出版社：机械工业出版社
