| 储能

请登录

注册

《电力大数据》走进大数据

2018-05-04 21:19:44 大云网
A A
随着智能电网建设的大踏步推进,每时每刻,电网中都在产生着类型繁多、体量巨大的数据,已经具备了大数据的规模。同时,通信网络的日益完善以及计算能力的显著提升,也为大数据技术的应用提供了基础。

2.1国内外厂商的技术和产品分析(续前章)

2.1.1 国外厂商

2.1.1.5 SAP 公司

SAP公司是全球领先的企业处理软件解决方案提供商。SAP为 Systems Applications and Products in Data Processing 的简称,是SAP 公司的产品——企业管理解决方案的软件名称。其主要业务为公司ERP软件以及相关业务产品,帮助企业实现成功管理。

SAP公司在大数据方面的业务重点主要是对SAP HANA实时数据平台的开发和利用。SAP HANA是一个软硬件结合体,提供高性能的数据查询功能,用户可以直接对大量实时业务数据进行查询和分析,而不需要对业务数据进行建模、聚合等。SAP内存数据库的数据并不是只在内存里,也会不停地写到硬盘里,基于内存计算技术的高性能实时数据计算平台。SAP HANA的快在于用大内存提供内存数据库,并在内存数据库里采用列式存储,从而可以将更多的数据装进内存(列式存储更适合数据压缩)。

SAP HANA提供多用途的内存应用设备.企业可以利用它即时掌握业务运营情况,从而对所有可用的数据进行分析,并对快速变化的业务环境做出迅速响应。通过SAP HANA,企业可以在业务运营期间,基于海量的实时详细信息,分析业务运营情况。企业可以探索和分析来源于所有数据源的全部运营数据。运营数据在产生时由内存获取,并通过灵活的视图迅速将分析信息呈现给用户。外部数据可轻松地被添加至分析模型,与整个企业的数据进行整合。通过SAP HANA可直接访问运营数据,而不影响SAP ERP和其他运营系统的性能。企业可以近乎实时地将主要交易表同步到内存中。以便在分析或查找时能够轻松地对这些表进行访问。一旦数据可通过内存访问,各个部门就可以从预订单据、销售线索、服务要求等大量列表中查找中个行项目,而不会对运营系统造成任何影响。这种高效的建模流程支持提供明细行项目的直接访问模型,以及支持更为复杂流程的分析模型。

除了 SAP HANA这款基于内存的大数据平台以外,SAP公司的另一款面向大数据处理的平台是SAP Sybase IQ。SAP Sybase IQ 一款高性能列式分析数据库,主要面向大数据的高级分析,它打破了数据分析的壁垒,并将其集成到企业级分析流程中。SAP Sybase IQ采用三层架构:基本层——数据库管理系统(DBMS);分析应用程序服务层(提供Java、C++等语言的API);顶层—Sybase IQ 生态系统。将基于 Hadoop的分析结果与运行于Sybase IQ中的查询相集成,充分利用Hadoop来识别海量结构化和非结构化数据集中的相关数据点,然后将Hadoop中的相关数据点集成到Sybase IQ中,以便利用传统数据和来自其他数据源的结果集进行分析。

Sybase ASE,全称力 Sybase Adaptive Server Enterprise,是一款成本低、高效、能够处理超大数据集的关系型数据库管理系统 (RDBMS)。面向大数据的处理要求,Sybase ASE基于以下两方面的提升:一是面向存储的优化,通过事务日志压缩,行内LOB存储技术等实现了数据规模的降低,减少了对存储的要求;二是采用更加简单和高效的LOB读取与运算,极大地减少了客户端与服务器之间的网络流量,同时也减少了对客户端内存的需求。

2.1.1.6 微软(Microsoft)公司

微软公司是世界PC ( Personal Computer,个人计算机)软件开发的先导,以研发、制造、授权和提供广泛的计算机软件服务业务为主。微软公司在大数据战略上形成了三步关键的发展模式:一是如何管理数据,如何获取、储数据,如何安全地保护数据:二是如何清理,如何发现相关的数据,如何将其他的数据与其连接起来; 三记如何在数据中得到洞察力,带来价值。

在技术和产品发展路线上,微软公司在前端以新一代SQL Server 2012为基准平台,将大数据管理起来中端以数据集市为依托,配以丰富的数据应用;后端以丰富的界面形式展现数据分析的结果,完成数据应用与分析的汇总。

其中,SQL server 2012是微软公司大数据战略的核心,它认为大数据的应用不仅仅是数据的存储,还有数据的应用。微软公司发布了一系列很有于意义的Hadoop组件。首先,微软在SQL Server公有云服务上发布了一款叫Isotope的Hadoop产品。微软接着发布了服务器版本,该版本着重在企业内部搭建一个Isotofp集群。该集群与传统的Hadoop集群相比基于三大优势:第一,前者与与微软Windows Server有非常好的集成,在该操作系统上有性能优化;第二,Isotope集群能很好地与企业的安全系统、认证系统进行整合; 第三,能够与微软传统的BI(业务分析)工具进行很好的整合;实现了SQL server对Hadoop的横向整合。

软硬件一体化设备在大数据解决方案中占据重要地位,IBM、 Oracle、惠普、EMC等IT巨头纷纷推出面向大数据的一体化产品和解决方案,稳固其在大数据时代的发展地位。在这方面,微软公司推出广PDW,即Parallel Data Warehouse,是针对企业数据仓库高度可扩展而设计的软硬一体机设备,采用“大规模并行处理(MPP) ” 体系结构。在数据处理方面,基于SQL Server 2012的并行数据仓库提供了全新的PolyBase数据处理技术,实现了用SQL语句对传统关系型数据库表与非关系型Hadoop数据表的统一查询,并能够在前端使用常用的Office工具(比如利用Office Excel)进行BI分析的操作和展示。PDW采用了xVelocity列存储技术,查询速度提升了10-50倍,满足了实时数据仓库的需求。其具有高密度Direct Attached Storage,存储容量提升7倍,横向扩展可以实现从几个TB到6PB的线性扩展。由于是软硬件一体机,内部经过了深度的优化整合,提升性能的同时,架构设计使得总体成本降低,PDW能够实现业界每TB更低的成本。

 

书名:电力大数据:能源互联网时代的电力企业转型与价值创造

ISBN:978-7-111-51693-4

作者:赖征田

出版日期:2016-01

出版社:机械工业出版社

大云网官方微信售电那点事儿
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
我要收藏
个赞

相关新闻