数据来自计算机和网络
现在各行业的企业都承受着越来越大的压力,需要从爆炸式增长的现有数据中提取出新的产业商机。对电信行业而言,全球手机用户数量已经达到60亿,用户需要独特和个性化的产品来体现他们的个人风格。金融服务行业中,华尔街各家公司每分钟能生成5份新研究报告。此外,由于零售商没能了解顾客需求、盲目进货而导致的销售损失,每年达到约1000亿美元。
数据是平台运营商的重要资产,可能提供API接口允许第三方有限度地使用,但是显然是为了增强自身的业务,与此目的抵触的行为都会受到约束,同时,也是大数据应用的基础和前提。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集,比如浏览器里的搜索、点击、网上购物、其他数据(比如气温、海水盐度、地震波)可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理,常用的软件:Tableau和Impure是功能比较全面的,Refine和Wrangler是比 较纯粹的数据整理工具,Weka用于数据挖掘。Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R+Hadoop,可以在Hadoop集群上运行R代码。还有很多可以用来在网页上实现可视化输出的框架或者控件。大致基于四种技术:Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)。
大数据带来四行业新机遇
进入大数据时代,都有哪些存在新机遇呢?分析人士认为,大数据时代主要有四类行业明显受益。首先,受益最明显的当属IT业。数据显示,2012年大数据对全球IT开支的直接或间接推动达960亿美元,而到2016年,这一数字预计将达到2320亿美元。据国内有关机构初步预算,未来中国大数据潜在市场规模有望近2万亿元,将给IT行业开拓了一个新的黄金时代。
其次,移动互联网行业。以腾讯、阿里巴巴、百度、奇虎360等为代表的互联网公司目前已经形成了与传统电信运营商价值链重新划分的格局,使得运营商的角色正在不知不觉中发生着变化。传统运营商所提供的服务类型已经从单一的话音结合少量的数据通讯,向多媒体、IPTV等多业务叠加模式演变。
第三,交通运输业。随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。智能交通成为改善城市交通的关键所在。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。无论是交通基础设施、交通运行状态还是交通服务对象和交通运载工具,每时每刻都在产生着大量的数据,以大数据的思路和角度来看,这些都是正待挖掘的宝藏,能为交通决策和服务带来新的解题思路。
第四、电力信息安全设备生产商受益。近日,电力行业信息安全类“招标竞赛”正在火热上演,全国多家电网公司相继在信息安全设备采购招标项目上亮出大手笔投资,采购内容涉及数据丢失防护、数据恢复、数据清除等众多软硬件产品,部分采购项目甚至达到上亿元的规模,新一轮大规模电力系统信息安全建设浪潮扑面而来。