侵权投诉
订阅
纠错
加入自媒体

【案例】大数据时代 PB级数据怎么管?

2015-06-18 01:15
络遇
关注

  如何理解PB级数据?说到这个数据量级,人们首先会联想到CADAL项目(大学数字图书馆国际合作计划),该项目可以说是开启了大数据时代PB级数据管理的一个典型案例。他的成功运行搭建为众多方案商提供了借鉴。

  PB级数据挑战多

  据大学数字图书馆国际合作计划管理中心副主任黄晨介绍:“CADAL项目面临的三个大数据应用挑战是:首先是 PB级数据需要长期保留;其次,需要24小时不间断为高校师生服务;最后,多重业务需要共享资源。为此,我们在建设中,从系统稳定性、易用性、分级存储/信息生命周期管理、硬件升级更新与业务连续性、可用性、性能六个方面去考虑。

  事实上,CADAL在开展二期项目的过程中,就明显感觉到了大数据上述的三大应用挑战。经过一期和二期工程建设,CADAL项目已经完成250多万册古籍和相关音视频资料的数字化,面向全国2000所高校开展服务,部分资源向公众开放。250多万册古籍和相关音视频资料加在一起,数据量已经达到600TB。三期工程将继续扩大资源建设,数据量将很快达到PB级。

  为此,信息基础架构平台需要能够动态地支持多重工作流,满足不同的性能要求、不同的容量要求,并且随时能够改变;需要有效地管理共享资源,存储资源按需分配,同时通过配额管理功能,以提高利用率。

  选择方案的关键点

  据了解,250万册的纸质图书,需要1栋15层的大楼才能容纳。如图2所示。而采用现代的技术手段,只需要一个机柜,就足够应对250万册甚至更多图书的数字化影像。图所3所示。

大数据时代 PB级数据怎么管?

图2某省图书馆介绍,建筑面积18073平方米,书库主体15层,可容纳250万册藏书

大数据时代 PB级数据怎么管?

图3 这样一组EMC Isilon机柜可以保存几千万册数字化图书

1  2  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号