侵权投诉
订阅
纠错
加入自媒体

科学理性拨开大数据的神秘外衣

2014-08-12 09:52
人在旅途20
关注

  ——价值实现的潜力主要体现在数据开放战略和数据驱动范式上。在战略层面,数据处理从封闭、断点、静态向开放、海量、实时的转变,引发了社区、众包、网格等新业态、新模式蓬勃发展,在此基础上将推动机构数据开放和公众共享运动的兴起。在研究范式层面,科学研究出现从推理演绎驱动向数据驱动拓展的苗头,如生物基因与健康等研发密集型产业开始向数据研究科学拓展,许多传统的科学研究如历史、文学等也开始尝试运用数据分析技术。但上述重大变革目前尚未规模化实现,大数据现有技术水平的主要受益者仍然是互联网产业和各类基于互联网的商业模式。在信息基础设施普及率、社会开放性以及与网络智能交互技术的结合度没有达到一定能级时,大数据的应用是有限的,达不到面向社会的“无所不能”。

  ——互联网企业是当前大数据价值实现的推动者和直接受益者。由于互联网的发展在带动大数据概念兴起的过程中起到了重要作用,因此多家知名互联网企业顺势掌握了大数据相关核心技术,推出了关键产品和服务。如谷歌公司研发了大数据“三核心”——文件系统(Google File System)、处理算法(MapReduce)和分布式数据库(BigTable),打造了全球大数据开发的主流框架和范式。雅虎基于谷歌的算法思想,改进了Hadoop开源框架,向广大企业和创业者开放,推动产业生态系统的不断壮大;亚马逊、脸谱、推特等企业在此框架基础上开发各类功能性工具,并以数据为消费产品改善用户体验;而微软、IBM等传统IT企业在产业链上更多关注下游应用,为各行业客户提供系统解决方案。这些企业不仅可以从新技术产品和服务中获得可观的收入,还可以从占有的数据资源中获利。

  ——大数据有助于进一步明晰云计算的价值。在云计算概念刚被提出的几年里,许多政企行业用户对其应用价值一直存在疑虑。而随着大数据的异军突起,云计算的价值又一次受到公众的关注。由于云计算帮助解决了大数据无法进行抓取、管理和处理的问题,给予了它不同以往的存储和计算能力,使得结果获取更快速、分析更智慧。可以预见,在未来云计算将成为大数据应用分析最活跃的舞台。同样,大数据为云计算大规模与分布式的计算能力提供了应用的空间,解决了传统计算机无法解决的问题,从而进一步明晰了云计算的价值。

  ——需警惕大数据至上主义。大数据支持者的一个重要论断是:基于全量,大数据分析的准确性将超越传统数理统计,因果关系将为相关关系所取代。而事实并非如此乐观,一方面,经历四百年发展的传统数理统计没有过时,仍然在经济社会各方面发挥着重要作用。比如,抽样是一门古老且成熟的统计方法,如果目标明确、方法科学,其在绝大多数情况下得出结论的正确性,并不逊于全量数据。客观上看,全量的价值更多体现在一些传统数理统计基本假设可能失效之处,如互联网“长尾”现象的出现,导致正态分布、帕累托法则在个别领域不再适用,此时需要依靠全量数据寻求规律。另一方面,全量伴生的“噪音”有时会影响精准度。例如,被誉为大数据杰出案例的“谷歌流感趋势”近期陷入低谷,错误率高达90%以上,不能预测甲型H1N1等重大疫情。它的核心逻辑是:搜索“流感”的人数与实际患症的人数之间存在相关性,而事实上,即便去医院看流感的人都有80%—90%实际没有得流感,表面的网络搜索行为与可靠的信息来源还存在较大差距以及“去噪”过程。很多专家认为,就目前而言,相关关系还不足以替代因果关系,而只是作为其补充。

<上一页  1  2  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号