据汇聚芝加哥的电力行业专家们说,随着电网变得越来越智能,大量数据涌入电力公司,令他们不知所措。
据估计,2009年电力公司需要处理的数据量已经达到194PB(美国国会图书馆的所有藏书加起来相当于3PB左右),如今美国各地的电力公司数据中心每天都会新增数以TB计的数据量。
例如,智能电网投资拨款已经推动了相量监测装置(PMU)的安装。该装置以每秒30次的频率收集众多电网节点的电压、电流和数字状态信息。这些数据有助于电力公司更好地管理电网,尤其是在可再生能源贡献了更多电力的情况下。
“这产生了庞大的数据量,动辄就是好几个TB。”行业赞助的电力研究所(ElectricPowerResearchInstitute)的保罗?米尔达(PaulMyrda)在“智能电网和新能源经济大湖研讨会”上担任讨论嘉宾时如此说道。这次研讨会已于9月25日在伊利诺斯理工学院结束。
“数据多不胜数。如何处理它们?如何利用它们?如何管理它们?在什么情况下它们会变得毫无用处?”
美国电力研究协会(EPRI)最近对电力公司的数据处理情况进行了调查。
“总体上来说,目前有能力获得这些数据的大多数电力公司都在收集它们,将之永久保留,但很少有电力公司知道如何将它们归档或者转移到线下。目前,我们还不知道筛选数据的任何方法。”米尔达说。
“另一个问题在于,他们没有简单的方法来把数据与任何特定时间点上的系统状态及时联系起来。因此,他们虽然有电压和电流数据,但却没有与之相关的类型分析。一天、两天、一周、一年过后,这些数据能有什么用处?”
米尔达说,他提倡安装电源管理单元(PMU),并且关注利用这些数据的软件的开发情况。虽然有些软件已经开发出来,但他说“没有杀手级软件”。
“这些是真正的问题。真正的问题不少,我刚刚所说的只是围绕着大数据和电力公司的问题的一个方面。”
另一个方面涉及到信息技术。咨询公司WestMonroePartners的高级技术架构师丹?罗萨诺瓦(DanRosanova)说,大多数电力公司都配备了最先进的计算机、数据库和网络——当今最好的信息技术架构。
现在的IT架构能够很好地应付当前的常见应用。这些应用常常涉及到通过网络访问处理器和数据以解决特定的问题。
但罗萨诺瓦说,目前正在涌入电力公司的那种大数据会使现在的网络不堪重负。例如,单次计算可能需要通过网络访问4TB的数据量,超过了国会图书馆的信息量。
“当你进入大数据领域时,集中化模式就会分崩离析。这种模式很好地服务了我们目前正在做的大多数事情。那是4TB数据量。在你获得我们先前提到的那种PB规模的数据量之前,请慢慢等待吧。”
因此,像罗萨诺瓦这样的架构师必须设计一种新的IT基础设施,但他们仍然不知道新的架构究竟应该满足什么要求:
“我们不知道我们将如何使用所有这些数据。”他说,“坦白说,我们将用到的很多工具可能还没有创造出来。大数据之所以是个大挑战,原因不仅在于我们不知道我们将用到什么工具,还在于目前我们也不知道对存储容量的需求有多大。我们只知道需要很大的存储容量。”
“这个挑战超过了目前大多数人的预料。”
米尔达认为,这个挑战对工程师们来说意味着为数据打造应用的机会,对大型电力公司来说意味着寻求合作的机会。
“或许有些工程师可以通过出售他们的应用而挣点钱。”他说,“在这个方面,我们可以利用整个电力行业和某些最具创造力的已有人才。”