大数据时代已经到来
物联网、云计算、移动互联网等新技术的发展,使得手机、平板电脑、PC及遍布地球各个角落的传感器,成为数据来源和承载方式。据估计,互联网上的数据量每两年会翻一番,到2013年,互联网上的数据量将达到每年667EB(1EB=230GB)。这些数据绝大多数是“非结构化数据”,通常不能为传统的数据库所用,但这些庞大的数据“宝藏”将成为“未来的新石油”。
1.大数据具有四个典型特征
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用四个V来概括大数据的特征。
——数据体量巨大(Volume)。到目前为止,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
——数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
——价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”,成为目前大数据背景下亟待解决的难题。
——处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”报告,预计到2020年,全球数据使用量将达到35.2ZB(1ZB=210EB)。在如此海量的数据面前,处理数据的效率就是企业的生命。
2.大数据成为国家和企业的核心资产
2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称,数据已成为一种新的经济资产类别,就像货币或黄金一样。奥巴马政府已把“大数据”上升到国家战略层面,2012年3月,美国宣布投资2亿美元启动“大数据研究和发展计划”,借以增强收集海量数据、分析萃取信息的能力。美国政府认为,大数据是“未来的新石油”,一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来对数据的占有和控制甚至将成为继陆权、海权、空权之外国家的另一个核心资产。
对企业来说,数据正在取代人才成为企业的核心竞争力。在大数据时代,数据资产取代人才成为企业智商最重要的载体。这些能够被企业随时获取的数据,可以帮助和指导企业对全业务流程进行有效运营和优化,帮助企业做出最明智的决策。此时,企业智商的基础就是形形色色的数据。
大数据在重新定义企业智商的同时,对企业核心资产也进行了重塑,数据资产当仁不让地成为现代商业社会的核心竞争力。在大数据时代,企业必须熟悉和用好海量的数据,而互联网行业已提早感受到了大数据带来的深切变化。一些互联网企业已经完成了核心竞争力的重新定义。
3.大数据“蓝海”成为竞争的新焦点
大数据所能带来的巨大商业价值,被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域造成影响,在商业、经济和其他领域中,决策行为将日益基于数据分析,而不再是凭借经验和直觉。大数据正在成为政府和企业竞争的新焦点。各大企业正纷纷投向大数据促生的新蓝海。甲骨文、IBM、微软和SAP共投入超过15亿美元成立各自的软件智能数据管理和分析专业公司。在大数据时代,商业生态环境在不经意间发生了巨大变化:无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络,让以往只是网页浏览者的网民的面孔从模糊变得清晰,企业也有机会进行大规模的精准化的消费者行为研究。大数据蓝海将成为未来竞争的制高点。
大数据在成为竞争新焦点的同时,不仅带来了更多安全风险,同时也带来了新机遇。
一是大数据成为网络攻击的显著目标。在网络空间,大数据是更容易被“发现”的大目标。一方面,大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量汇集,使得黑客成功攻击一次就能获得更多数据,无形中降低了黑客的进攻成本,增加了“收益率”。
二是大数据加大隐私泄露风险。大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面,数据集中存储增加了泄露风险﹔而这些数据不被滥用,也成为人身安全的一部分﹔另一方面,一些敏感数据的所有权和使用权并没有明确界定,很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
三是大数据威胁现有的存储和安防措施。大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起,很可能会出现将某些生产数据放在经营数据存储位置的情况,致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐,就会暴露大数据安全防护的漏洞。
四是大数据技术成为黑客的攻击手段。在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时,黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息,大数据分析使黑客的攻击更加精准。此外,大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击。
五是大数据成为高级可持续攻击的载体。传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,无法被实时检测。此外,大数据的价值低密度性,使得安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有方向。
六是大数据技术为信息安全提供新支撑。当然,大数据也为信息安全的发展提供了新机遇。大数据正在为安全分析提供新的可能性,对于海量数据的分析有助于信息安全服务提供商更好地刻画网络异常行为,从而找出数据中的风险点。对实时安全和商务数据结合在一起的数据进行预防性分析,可识别钓鱼攻击,防止诈骗和阻止黑客入侵。网络攻击行为总会留下蛛丝马迹,这些痕迹都以数据的形式隐藏在大数据中,利用大数据技术整合计算和处理资源有助于更有针对性地应对信息安全威胁,有助于找到攻击的源头。
保障我国大数据信息安全的建议
一是重视大数据及其信息安全体系建设。大数据作为一个较新的概念,目前尚未直接以专有名词被我国政府提出来给予政策支持。在物联网“十二五”规划中,信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。在对大数据发展进行规划时,建议加大对大数据信息安全形势的宣传力度,明确大数据的重点保障对象,加强对敏感和要害数据的监管,加快面向大数据的信息安全技术的研究,培养大数据安全的专业人才,建立并完善大数据信息安全体系。
二是加快大数据安全技术研发。云计算、物联网、移动互联网等新技术的快速发展,为大数据的收集、处理和应用提出了新的安全挑战。建议加大对大数据安全保障关键技术研发的资金投入,提高我国大数据安全技术产品水平。推动基于大数据的安全技术研发,研究基于大数据的网络攻击追踪方法,抢占发展基于大数据的安全技术的先机。
三是加强对重点领域敏感数据的监管。海量数据的汇集加大了敏感数据暴露的可能性,对大数据的无序使用也增加了要害信息泄露的危险。在政府层面,建议明确重点领域数据库范围,制定完善的重点领域数据库管理和安全操作制度,加强日常监管。在企业层面,建议加强企业内部管理,制定设备特别是移动设备安全使用规程,规范大数据的使用方法和流程。
四是运用大数据技术应对高级可持续攻击。传统安全防御措施很难检测出高级持续性攻击。安全厂商要利用大数据技术对事件的模式、攻击的模式、时间和空间上的特征进行处理,总结抽象出一些模型,变成大数据安全工具。为了精准地描述威胁特征,建模过程可能会耗费几个月甚至几年,并耗费大量人力、物力、财力。建议整合大数据处理资源,协调大数据处理和分析机制,推动重点数据库之间的数据共享,加快对高级可持续攻击的建模进程,消除和控制高级可持续攻击的危害。