侵权投诉
订阅
纠错
加入自媒体

数据质量:大数据的新侧面

2015-06-23 09:18
一分日元
关注

  数据质量的定义

  根据维基百科的定义:数据质量指的是“数据对其在操作、决策支持和规划中扮演角色的适应程度”。下面是数据质量常见的五个方面:

  (1)一致性:信息集合中每个信息都不包含语义错误或相互矛盾的数据。例如,信息(公司=“先导”,国码=“86”,区号=“10”,城市=“上海”)就不一致,因为10是北京区号而非上海区号。又如,若银行信用卡信息库显示某持卡人同时在北京和新疆使用同一信用卡消费,这时就出现了同一时刻两个地点信息不一致的情况。

  (2)精确性:信息集合中每个信息都能准确表述现实世界中的实体。例如,某城市人口数量为4130465,在信息库中的记载为400万。此数据看似合理,却不精确,未能包含剩余的130465人。

  (3)完整性:信息集合中包含足够的信息来实现回答问题、查询信息或进行知识发现等功能。这也同样是数据质量评定中的一个重要因素!例如,某医疗信息库中的信息遗失了某些患者的既往病史,从而存在不完整性。一旦该患者需要治疗,这些缺失的信息将会导致医生不正确的诊断甚至引发严重医疗事故。

  (4)时效性:信息集合中每个信息都要与时俱进。例如,把某小区住户的地址看作是数据的话,其中某位住户所登记的家庭地址是2010年的,但在2011年他可能搬家了,此时他所登记的家庭地址信息就不正确了,即信息过时,而这些过时信息将会导致严重后果。

  (5)实体同一性:信息集合中描述同一实体的不同表示形式共享同一标识。例如,为防止信用卡欺诈,银行需监测信用卡的使用者和持有者是否为同一人。又如,同一企业中维护着各自不同的信息库的部门在兼并和重组时,会使新的客户信息库中产生大量具有差异的重复客户信息,而导致客户信息的混乱。

  大数据中的数据质量问题

  大数据,顾名思义,其最本质的特点在于数据量“大”,除此之外,还包括了获取、管理以及处理时的复杂性。大数据具有明显的时代特征,使用者们习惯上将其总结为4个“V”:规模性(volume),高速性(velocity),多样性(variety)和价值稀疏性(value)。由于这些特征,大数据才有更大可能产生数据质量问题,即更有可能出现不一致、不精确、不完整、过时等问题或者描述同一实体的数据出现了冲突(简称为实体不同一)等错误,具体原因包括:

  (1)大数据具有规模性大的特点:越大规模的数据就越有可能在获取、存储、传输和计算过程中产生更多错误。即使想要进行人工错误检测与修复也会由于成本极其巨大以至难以有效实施。

  (2)大数据具有高速性的特点:数据的大量更新会导致过时数据迅速产生,在这个过程中也更易于产生不一致数据,为人工错误检测与修复带来困难。例如,某一大型实验设备中包含了15亿个传感器,平均每秒收集超过4亿条实验数据,每一秒钟就会有这些数据迅速过时,传统方法想要实现新数据替换对应的旧数据,就显得有些力不从心。

  (3)大数据具有多样性的特点:它的多样性指的是数据来源和形式上的多样,这就使得数据有更大的可能产生不一致和冲突。例如,在互联网上的不同网购网站中获取到的同一商品的一些信息就有很大可能存在冲突。

1  2  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号