浅谈大数据的发展：问题和挑战（一）

2014-08-26 00:10

来自于数据成本控制方面的挑战：对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场，而且还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点。当今，数据中心使用的传统引导驱动器不仅故障率高，而且具有较高的维修和更换成本。如果用它替换数据中心的独立服务器引导驱动器，则能将可靠性提升多达100倍。并且对主机系统是透明的，能为每一个附加服务器提供唯一的引导镜像，可简化系统管理，提升可靠性，并且节电率高达60%，真正做到了节省成本的问题。

来自于数据分析方面的挑战：数据分析是大数据处理流程的核心，因为大数据的价值就产生于分析的过程，但是它同样带来了很大的挑战。首先，数据量大带来更大价值的同时也带来了更多的数据噪音，在进行数据清洗等预处理工作时必须更加谨慎，若清洗的粒度过细，很容易将有用的信息过滤掉，而清洗的粒度过粗，又无法达到理想的清洗效果，因此在质与量之间需要进行仔细的考量和权衡，同时也对机器硬件和算法都是严峻的考验。其次，传统的数据仓库系统对处理时间的要求并不高，而在很多大数据应用场的要求。

　　大数据的意义是由人类日益普及的网络行为所伴生的。从海量数据中“提纯”出有用的信息，是一项非常庞大的工程，也是当下大数据时代面临的重大挑战。在经历了近几年来各界对大数据的批判、质疑、讨论、炒作之后，大数据的发展依旧任重道远。浅谈大数据的发展：应用与掘金（二）

<上一页 1 2