大数据火了起来,甚至在前不久召开的2013夏季达沃斯论坛上还专门举办了一场关于“大数据概念是否被过度炒作”的辩论会,其火热程度可见一斑。
根据计世资讯2013年3月发布的中国大数据市场调查报告显示,相较2011年,2012年中国大数据市场规模增长52.4%,达到3.2亿元。预计到2017年,中国大数据市场的年增长率都将超过60%,到2017年,达到37.9亿元的市场规模,在经济、整体IT市场低迷的情况下,实现大幅逆势增长。
在日前由《计算机世界》报主办的“大数据时代的商业智能高峰论坛”上,来自IT厂商的代表、业内专家、资深分析师及用户代表就大数据热门话题展开了激烈的讨论。
焦点一:
大数据是不是大忽悠?
IT技术的每一次更新迭代都面临同样的问题,前两年的云计算、如今的大数据无不如此。实际上我们回过头来看,所有的技术和产业的发展都有泡沫化的过程,包括互联网、金融危机、云计算、大数据,都会有一个泡沫化的过程,而泡沫破灭的过程也正是这项技术落地的过程。
大数据热起因是其可以产生更多的价值,而在当前这个时间点热,一方面是越来越多的人意识到了其中的价值,另一方面则与技术的发展成熟密不可分。戴尔云计算及大数据高级解决方案架构师郝继玖和EMC资深技术顾问杨永波在这个问题上所持的观点基本相同,他们认为并不是之前没有大数据,而是没有能力处理。当下这个时间点一方面是数据规模确实越来越大,而另一方面计算能力也达到了一定的水平,当这两者都具备的时候,才催生了大数据时代的到来。
作为用户代表,IDG集团中国区副总裁、计世传媒集团董事许伟明表示认同,他认为主要是当前IT系统的计算能力和成本都已经降低到了可以负担的水平,由此推动了大数据的快速发展。
作为大数据领域的专家,北京理工大学计算机学院院长助理、大数据搜索与挖掘实验室主任张华平副教授表达了他的看法。他表示,虽然当前大数据还停留在泡沫阶段,不过大数据的泡沫不会比云计算大,因为云计算更多涉及的是架构问题,业内分歧比较多,而大数据关注的只是业务,更加专注,因此也会更快地实现落地。
焦点二:
上马大数据要做哪些准备?
根据计世资讯发布的大数据市场调研报告显示,未来半数以上的企业会采用大数据解决方案。用户如果真的要部署大数据解决方案,要做哪些准备?
了解需求、获得老板的认可,是首先要考虑的。许伟明认为,从公司角度来看,最大的问题是如何获得老板的支持;而从业务层面出发,则需要考虑实际的需求。比如你所处的企业如果数据量很大,则需要在IT架构上做准备,考虑包括数据是怎么收集的、从哪里收集、如何与其他数据进行匹配等问题。而在操作过程中,则可以首先尝试一些开源的工具进行小范围测试,做一些基本了解,然后再找相关的专家仔细进行评估。
这仅仅是最基础的部分,在此之上,企业还要将项目与整体业务紧密地联系在一起。因为如果只是单独考虑某一部分的业务,失败的概率非常大。杨永波表示,从IT架构层面来讲,很多数据的获取并不容易,打通所有层级、部门的数据是比较难的,但是只有把信息打通了,才拥有了真正的大数据。
郝继玖则进一步做了补充:“大数据相应的IT架构搭建完成后,还需要考虑服务的标准化,因为随着数据量、设备及人员的增加,如何分工、保证高质量的运维效果是需要迫切考虑的问题,这个过程就需要建立统一的服务标准和流程。”
除了技术层面的问题外,还有一个很大的问题就是隐私问题。张华平讲到,现在有很多大数据隐私被滥用的问题,无论从国家还是公司层面来讲,要想把大数据做好,都面临数据公开的问题,需要各个部门数据的融合。因此,利用大数据的时候,要考虑隐私的问题。另外,还需要考虑数据本身的生命周期问题,有一些老的或者过时的数据,可能对你最后的分析结果产生特别糟糕的影响。因此,专业的人才不可或缺,应该有一些数据分析师,或者跟业务相关的数据科学家对数据进行分析。
焦点三:
用开源平台还是商业软件?
一提到大数据很多人会想到Hadoop。作为开源平台的忠实支持者,张华平认为做开源和共享平