作者:高博 来源:科技日报 发布时间:2013-11-26 9:10:57
选择字号:
大数据:热潮中切忌一哄而上 科学规划很重要
 
“通过大数据的挖掘,从资料完整度、交友真诚度及账号安全度评定用户‘靠谱度’。”一家著名婚恋介绍网站最近打出广告,声称可用“大数据”技术打击相亲骗子。
 
如今,“大数据”是一个时髦的词汇,很多商家纷纷推出“大数据”服务。全世界的大数据技术研发机构都吸引了众多风投和眼球。
 
大数据让人眼前一亮,也让人两眼一黑。9月,著名信息技术分析公司Gartner发布《2013年大数据普及程度背后的炒作》报告,指出2013年30%的企业已开始大数据工作,而另外34%的企业有计划在两年内开始。但这些企业大多告诉调查者,不知道自己在做什么,也不知道为什么要做大数据工作。
 
根据这一报告,半数以上企业不知道如何从数据中获取价值;三分之一的企业缺乏大数据处理能力;甚至还有超过五分之一的公司不知大数据究竟为何物。
 
如果连嗅觉灵敏的企业家们都不真正理解大数据,其他人就更是难窥其全貌。大数据时代还在雏形,它会变成什么样子没人能说准。
 
起源于科学界的商业热词
 
尽管商界对大数据带来的商机津津乐道,但一开始讨论大数据时代的是科学家。“生命与医疗、粒子物理、天气预报、基因学、地震预报等已经是数据密集型应用了。”清华大学自动化系教授肖田元说,“典型的例子是美国气象预报局年数据量达30PB(1PB=100万GB),每日观察资料超过35亿份。DNA序列分析使用网络大数据分析工具进行亿万次DNA短链分析,制造基于DNA的分子物质。科学家还推出大尺度数据管理架构与可视化方法,让解码人类基因组这种原先花费10年的工作可以在一周内完成。”
 
上海大学教授费敏锐介绍道:“像华大基因,分析的数据量有几百PB。他们在全世界找到了25种栽培稻和24种野生稻,正因为有大数据分析能力,他们扫描了这些水稻的全基因图,找到了162个决定水稻产量的基因。”
 
大型强子对撞机(LHC)的例子更是常被提及,LHC每秒钟生成1PB的数据,要用4.5万个磁带机做存档,是目前世界上最大的数据生产者。
 
在此背景下,2008年9月,《自然》杂志推出大数据专刊,探讨科研形态变化;《科学》杂志2011年也推出大数据专刊,将大数据深度分析看成未来研究的突破点。
 
“真正开始讨论大数据,大家都公认是《自然》杂志2008年的专辑所带来的。”电子科学研究院研究员王积鹏说,“计量文献来看,讨论大数据的论文2011年发生井喷。这几年大家都拿大数据说话,但是主要在于应用,而不是在于理论研究。”
 
科学家们当时的忧虑是大数据难以处理,肖田元说:“计算机已经超过了千万亿次级,‘天河二号’是2000万亿次,未来10年可能达到亿亿次。但是软件发展很慢。美国也是这样,认为高性能计算的算法开发滞后。我们国家高性能计算机为什么利用率不高,原因就在这里。”
 
典型的数据管理困境,如国内一位信息技术工作者所说:“我做过某卫星的信息资源管理,卫星每天产生上百GB的数据量。处理完之后,文件都存在相应的磁盘、磁带等,通过几个系统呈现,一年下来数据量相当大,但是并没有产生大数据的特性。”
 
工业界也提出了类似问题,肖田元举例说:“有个著名的发动机公司提出设想,把它的航空发动机数据实时传到总部,结合过去的数据,实时检测和预报故障。数据量非常大,现在要同时检测、计算和预报,很难做到。”这一困难,肖田元概括为“科研智能如何赶上感知能力”。
 
在科研界关于大数据挑战的讨论之后,互联网商业看到了大数据中的“金矿”。这也是被如今大家所熟悉的大数据议题。最典型的例子如宏源证券研究所副所长易欢欢介绍:“阿里巴巴,最早从B2B到B2C,聚集了千万级的中小微企业,形成了5.4亿注册用户。这个公司牛在哪?这些数据背后的因素包括什么?销售数据、产品数据、应收账款、存货、资金流向、物业信息等一系列综合信息,而且是实时的,远比银行报表准确得多。它有你的消费偏好、家庭地址、还款卡号等一系列信息,这才叫大数据。”
 
IT业研究公司M&M发布的一份最新报告指出,全球大数据市场将在未来5年内迎来高达26%的年复合增长率——即从今年的148.7亿美元增长到2018年的463.4亿美元。膨胀速度如此快,可见市场对大数据概念响应的热烈。
 
不同行业从不同角度发现了数据爆炸的挑战和机会。最终,大数据频频见诸媒体,成为达沃斯等国际峰会上的热词,但就如前述报告所显示的,企业家对这一概念并无把握。
 
数据公开让美国占得先机
 
大数据商机显现后,2012年3月,奥巴马政府发布《大数据研究与发展倡议》,同时组建“大数据高级指导小组”,标志着美国把大数据提高到国家战略层面。
 
国防大学教授胡晓峰说:“我认为奥巴马试图通过大数据发展计划,再次重复信息高速公路计划带来的互联网霸权。美国人已经把目光瞄准到大数据的未来领域,我觉得是为了创造未来的大数据霸权奠定基础。”
 
“美国政府提出大数据计划的根源,在于有十几年以上数据公开的基础。”北京理工大学教授丁刚毅说,美国的DATA.GOV网站就体现了政府公开数据的力度,“大家可以上网看,DATA.GOV的数据量非常大,和世界银行、联合国的数据都可以媲美。里面很多都是敏感数据,但它就是敢公布,认为只有公布这样的数据,才能有更好的国际合作去应对危机。欧盟、英国,包括巴西这样的发展中国家,都已经加入了DATA.GOV”。
 
丁刚毅说,在数据公开上,联合国组织和美国的一些研究机构在全力以赴,已经有10年了。每年还有各式各样的活动促进数据公开。
 
美国数据开放,使不少基于政府数据的服务,创造了巨大效益。比如硅谷有一家“气候公司”,利用美国气象局数据库中几十年的天气数据,研究各地降雨、气温、土壤状况与历年农作物产量的相关度,预测农场下一年的产量,以出售保险。这家公司由于前景光明,最近被农业巨头孟山都公司收购。
 
还有利用气象信息和航班误点信息来预测航班误点几率的服务,可以推动航空公司提高正点率。再如城市治堵,政府的数据也排上了用场——美国和英国最早利用大数据管理交通,给出交通预测,让公私车辆适时出行。
 
对于政府数据公开的益处,美国商务部首席信息官西克曼在一次IT会议上说:“政府实现预期目标的真正障碍不仅在于收集数据,更在于如何将数据转化为切实可用的信息产品以及开发知识。”
 
“毕竟很多有能力提出好点子的人才分散在各个私有组织,他们也许会提出一些关于数据利用的优秀方案。”西克曼说,“分享我们的数据,并不只是为了追求所谓政府事务的透明度,这真的有可能以全新方式,让我们产生并传播的数据迸发出别样的力量——而这一切在我们现有的规划及有限的资源面前根本无法实现。”
 
丁刚毅说,他曾跟国内一些著名的互联网公司接触过,申请共享其数据,公司表示“给你一段可以,几百个TB也好,几个PB也可以,但连续的数据绝对不可以”。他认为,对于研究者,长期不断、随时随地都可以接触的数据,才是大数据。
 
“政府和行业共享数据应该是大数据的基础,离开共享政策,根本就没有大数据。”丁刚毅说。
 
大数据繁荣需共享+立法
 
中国人对大数据的关注并不晚。2012年7月,我国《“十二五”国家战略性新兴产业发展规划》明确提出,要“加强以海量数据处理软件等为代表的基础软件的开发”。2012年12月,中关村大数据产业联盟宣布成立。
 
根据IT分析公司IDC预测,中国大数据技术与服务市场将快速增长到2016年的6.16亿美元。但这一数额仅仅是世界市场的一个零头。
 
网络研究专家秦安在接受媒体访问时表示,中国设立大数据机构从时间上看,似乎并不落后于美国,但大数据应用涉及整个以互联网为核心的产业链,美国在大数据应用上的领先程度由思科、微软、谷歌等跨国IT公司的实力所决定,恐怕中国几十年内难以完全超越。
 
9月30日,中共中央政治局在中关村调研时,百度公司CEO李彦宏就宣讲了大数据的题目。他认为大数据在两方面最有价值,一是促进信息消费,加快经济转型升级;二是关注社会民生,带动社会管理创新。李彦宏同时表示,国家层面要发展大数据,就要促进数据开放,扶持科研、培育人才。
 
这种“数据开放”的观点,代表了中国大数据行业观察者的共识。互联网评论家葛甲指出:“数据开放在割据状态的互联网上靠企业的力量是完不成的,只有从政府层面去进行推动。现在做大数据的公司这么多,其实多数只有个壳子,没有实际内容。大数据的基础是巨量数据,不具备一定程度的数据量,是做不成的。于是,李彦宏提出了数据开放这个概念。”
 
葛甲认为,数据开放“这里面的难处,在于配套的管理制度和法律法规,政府的作用就是维护其公平性,坚决维护小企业的商业利益,扮演好管理者和仲裁者的角色,不要让自身经济利益牵涉其间”。
 
信息产业专家、中国工程院院士邬贺铨今年在一篇名为《大数据时代的机遇与挑战》的文章中也写道:“中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁。”
 
还有一位业界专家告诉记者,政府对大数据行业的扶持,除促进数据公开外,应采用购买服务的方式,而非越俎代庖,设立不必要的政府项目。
 
另外,邬贺铨还指出应尽快制定《信息公开法》。“现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。”他认为,需要界定数据挖掘、利用的权限和范围,防止信息被损坏、篡改、泄露或被窃,保护公民的信息安全。
 
“(大数据)标准和产业格局尚未形成,是我国实现跨越式发展的宝贵机会。”邬贺铨说,“要注意科学规划,切忌一哄而上。”
 
 
 
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 

相关新闻 相关论文

图片新闻
全球电子垃圾5年增长21% 吉利德研发出新HIV候选治疗药物
沿海湿地可减少海岸洪水 3D愈合补丁可修复心脏损伤
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文
 
论坛推荐