科学理性拨开大数据的神秘外衣

　　大数据概念的升温，引来了很多争议。有人称之为“新瓶装旧酒”，也有人认为大数据的机遇被过于夸大。其实，这些都与没有真正理解大数据的本质有关。任何事物的发展都有其客观规律，大数据并非是“石头里蹦出来的孙悟空”，它也有自己的“亲生父母”——计算机科学和数据科学。正是由于两者的融合，以及生命科学、地理科学甚至社会科学等各领域数据化程度的加深，才使得大数据拥有不同寻常的“基因”。而且，随着互联网产业的成熟，物联网、云计算概念的落地，数据驱动创新观念的深入人心，大数据的用武之地将更为广泛，所能带来的变革潜力也将不可限量。

　　关于大数据，有如下几个重要判断和观点：

　　——大数据思维源于数据挖掘（Data Mining）又高于数据挖掘。也可以说，数据挖掘是大数据的“近亲”。数据挖掘借助计算机从海量数据中发现隐含的知识和规律，是一门融合了计算机、统计等领域知识的交叉学科，其核心的人工智能、机器学习、模式识别等理论，在上世纪90年代推行知识管理时已有显着进展。从本质上看，大数据带来的“思维大变革”以及一些数据驱动类的商业智能（Business Intelligence）模式创新，都是数据挖掘理论的延伸，表达为“数据挖掘相对于数理统计带来的思维变革”或许更加准确。比如，因果关系是数理统计中的重要内容，基于完善的数学理论，代表是回归模型；而相关关系是数据挖掘中的重要内容，基于强大的机器运算能力，代表是神经网络、决策树算法，这使得人们不需要了解背后复杂的因果逻辑也可以获得良好的分析和预测结果。但是，数据挖掘通常面向结构化数据。大数据则还涉及数据的采集、提取、转化、存储等，且必然要面对非结构化数据。

　　——大数据突破主要来自技术上的革新。表现在对多样（Variety）、海量（Volume）、快速（Velocity）特征的“适应”和“运用”上。一是存储数据从结构化向半结构化、非结构化拓展，如基于Web异构环境下的网页、文档、报表、多媒体等，导致了一批基于非结构化数据的专有挖掘算法的产生和发展。二是数据库从关系型向非关系型、分布式拓展，关系型数据库是以行和列的形式组织起来的结构化数据表，如Excel表格，缺点在于存储容量小、数据扩展性和多样性差，而新的非关系型、分布式数据库可以弥补上述不足。三是数据处理从静态向实时交互拓展，新的大规模分布式并行数据处理技术能够实时处理社交媒体和物联网应用产生的大量交互数据，有效应对多样和海量带来的复杂度和时效性要求。

　　——技术革新直接促成了价值（Value）的实现。得益于上述技术，数据挖掘理论获得了呈几何倍数增长的数据量和处理能力，原本很多无法验证的设想和方法得以实现。比如，传统商业智能（BI）分析有一个“集中”步骤，即在分析前需要对大量数据抽取和集中化，形成一个完整的数据仓库，这个步骤往往成为BI分析全过程的能力瓶颈。而基于大数据分布式技术的BI分析无需“集中”，大大提升了敏捷度和智能水平，从而推动机器学习、语义处理等领域发生重大突破，直接促成了Mahout机器学习算法集、Siri语音助手等一批商用化产品的问世。