侵权投诉
订阅
纠错
加入自媒体

大数据多维分析引擎在魅族的实践

2017-01-24 15:00
魏丁小陆
关注

今天跟大家分享apache kylin在魅族的一些实践。闲话不多说我就直接进入正题了~

相信群里的各位同学应该都是对数据库技术感兴趣的,apache kylin作为大数据分析引擎这一块近年来崛起的新星已经受到越来越多人的关注。我今天的内容主要分为以下几个方面:

Kylin的基本介绍

Kylin核心概念和特性

Kylin在魅族的应用案例(场景+优化实践)

在大数据的时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持;Kylin就是为了解决这些问题而设计的。Apache Kylin,中文名麒(shen)麟(shou) 是Hadoop动物园的重要成员。Apache Kylin是一个开源的分布式分析引擎,最初由eBay的几位华人工程师开发贡献至开源社区,这也是它取名麒麟的一个重要原因,kylin是为数不多的由华人贡献至apache社区并能够成为顶级项目的。它提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发。

Apache Kylin于2014年10月在github开源,并很快在2014年11月加入Apache孵化器,于2015年11月正式毕业成为Apache顶级项目,也成为首个完全由中国团队设计开发的Apache顶级项目。于2016年3月,Apache Kylin核心开发成员创建了Kyligence公司,力求更好地推动项目和社区的快速发展。

Apache Kylin于2014年10月在github开源,并很快在2014年11月加入Apache孵化器,于2015年11月正式毕业成为Apache顶级项目,也成为首个完全由中国团队设计开发的Apache顶级项目。于2016年3月,Apache Kylin核心开发成员创建了Kyligence公司,力求更好地推动项目和社区的快速发展。

Kyligence是一家专注于大数据分析领域创新的数据科技公司,提供基于Apache Kylin的企业级智能分析平台及产品,以及可靠、专业、源码级的商业化支持;并推出Apache Kylin开发者培训,颁发全球唯一的Apache Kylin开发者认证证书。

这里插一句题外话,在做分析引擎选型的时候,除了项目本身的成熟度之外,社区的活跃度和是否有一家商业公司在背后推动一直是我的一个重要的选择标准,商业化公司在开源技术的组织,标准化,推广等各个方面都能够弥补社区的不足之处

刚才对kylin做了一些基本的背景介绍,接下来,我们来逐步深入的探究一下kylin究竟是如何能够做到在PB级的数据量下提供亚秒级的查询响应的

首先,为了更好的适应大数据环境,Kylin从数据仓库中最常用的Hive中读取源数据,使用 MapReduce作为Cube构建的引擎,并把预计算结果保存在HBase中,对外暴露Rest API/JDBC/ODBC的查询接口。因为Kylin支持标准的ANSI SQL,所以可以和常用分析工具(如Tableau、Excel等)进行无缝对接。

Kylin的架构图

简单来说,Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。

1  2  3  4  5  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号