浅谈大数据的发展：问题和挑战（一）

2014-08-26 00:10

　　目前，几乎所有世界级的互联网企业，都将业务触角延伸至大数据产业。

　　无论社交平台逐鹿、电商价格大战还是门户网站竞争，都有它的影子。大数据，正由技术热词变成一股社会浪潮，影响社会生活的方方面面。

　　何谓大数据？大数据或称巨量资料，是指所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。（在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。那么我们从定义上来理解一下“大数据”在《大数据时代》所定义的四个特征中，我们可以大概感知得到它的价值：数据体量大，数据类型多，数据价值密度低，数据具有时效性。

　　伴随着各种随身设备、物联网和云计算云存储等技术的发展，人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人，不再是网页。在数据大爆炸的背景下，大数据，也面临着诸多挑战.

　　来自于数据存储方面的挑战：大数据发展面临的问题是来自不同地方、不同标准、数据量大、多种结构形式、实时性等多样化要求的数据信息。这些问题无疑增加了数据采集和整合的困难，故此应修改基于块和文件的存储系统的架构设计，以克服存在的问题。

　　来自于数据安全方面的挑战：数据的持续增长带来了数据的安全问题。首先，大数据因为目标大而在网络上更容易被发现；其次，大数据存在更敏感更有价值的数据，对潜在攻击者的吸引力更大。此外，个人信息的曝露，也会造成个人安全的问题。

　　来自于数据显示方面的挑战：与数据分析相比，很多用户往往更关心数据结果的显示。传统的以文本形式输出结果或者直接在电脑终端上显示结果的方法在面对小数据量或许是很好的选择，但是对于形式复杂的海量数据是不可行的。这就需要引入可视化技术来可视化最终甚至是中间的计算结果，此外，还需要人机交互技术或者数据起源技术，使得用户在得到结果的同时更好的理解结果的由来。

1 2 下一页>