改变数据中心面貌的5大数据挑战

2017-12-15 09:40

图像可能以原始形式存储，但元数据通常在源头添加。另外，可以在源头完成一些处理以实现“信噪比”的最大化。可以支持这些图像的最终架构的特点是：（1）在源头存储数据。（2）将数据复制到共享存储库（通常在公共云中）。（3）从共享的存储库处理资源以分析和处理数据。（4）采用网络连接以便结果可以返回给研究人员。这个新的工作流程正在推动包含多个存储位置的数据架构发展，并根据需要移动数据并在多个位置进行处理。

对于制造行业的物联网用例，这种数据架构的变化更加剧烈。例如，在西部数据公司，人们从全球各地的机器收集数据。这些数据被发送到一个存储在三个位置的中央大数据存储库，一部分数据被推送到亚马逊的Apache Hadoop数据库中进行快速数据分析处理。其结果可供全公司的工程师进行可视化和后处理。对源数据进行处理，以提高该数据的信噪比，并对数据进行归一化。对数据执行额外的处理，因为它在逻辑上集中的位置收集在对象存储库中。

由于这些数据必须长期受到保护，因此需要进行擦除编码，并分布在三个不同的地点。最后，数据一旦进入亚马逊平台，将再次使用分析处理。而支持制造用例的体系结构是一种边缘到核心的体系结构，在许多位置都可以进行大数据和快速数据处理，而且这些组件是专门为此过程的每个步骤所需的处理类型而构建的。

由于集中式数据的概念不再适用，这些用例需要一种新的数据架构方法。人们需要有一个逻辑上集中的数据视图，同时可以在任何工作流程的多个步骤中灵活地处理数据。数据量将会非常大，盲目地将全部的数据推送到一个中央存储库将会带来成本和时间方面更多的限制。智能体系结构需要开发人员了解如何在考虑到数据规模、传输成本以及处理要求的权衡的情况下逐步处理数据。

在西部数据公司，已经开发了其内部的物联网数据架构，以便拥有一个“干净”数据的权威来源。数据在到达该权威来源之前被清理和规范化，一旦达到该数据源，就可以推送到多个来源进行适当的分析和可视化。其权威来源负责对数据进行长期保存，所以为了满足数据的安全要求，它必须在自己内部部署的数据中心（实际上有三个托管的内部数据中心）。由于大部分清理工作都是在源头进行，所以大部分的分析工作都是在云端进行的，以便拥有最大的灵活性。

底线是组织需要停止考虑将大型数据集集中存储和访问。数据需要存储在适合其预期用途的环境中。人们称之为“数据蓬勃发展的环境”。大数据集需要共享，不仅用于协同处理，还要汇总用于机器学习，还要在云端之间进行分离，以便进行计算和分析。以数据中心为中心的架构解决大数据存储问题并不是一个好方法。为了从未来的大数据集获得最大的价值，需要采用一种边缘到核心的架构，并与混合云体系结构相结合。

<上一页 1 2