侵权投诉
订阅
纠错
加入自媒体

大数据多维分析引擎在魅族的实践

2017-01-24 15:00
魏丁小陆
关注


MapReduce的计算结果最终保存到HBase中,HBase中每行记录的Rowkey由dimension组成,measure会保存在column family中。为了减小存储代价,这里会对dimension和measure进行编码。查询阶段,利用HBase列存储的特性就可以保证Kylin有良好的快速响应和高并发。

有了这些预计算的结果,当收到用户的SQL请求,Kylin会将SQL转换成查询计划(Apache calcite),把本该进行的Join、Sum、Count Distinct等操作改写成HBase的get和scan的查询操作。

相比于很多其他开源分析引擎只开放出来一个基于console的简单交互入口的内核相比,kylin把一个集成了简单web-IDE,cube创建编辑,building过程监控和管理、系统配置、权限管理的一个相对完善的管理界面都打包在了kylin的开源发布包中,这使得上手使用kylin会变得非常简单。

Kylin提供了一套基于完整的REST API,并且支持符合ANSI SQL标准的语法以及JDBC、ODBC的驱动,这样我们可以非常方便的将现有的应用切换到kylin上面来,如果有需要的,可以使用kylin的REST API把cube的构建过程集成到我们自己的内部平台当中去,这些紧靠行业标准的选择也是kylin能够快速蹿红的一个重要原因

不那么新的新特性---Parallel Scan

1.5之后的一个版本中,kylin对HBase存储结构进行了调整,将大的Cuboid分片存储,将线性扫描改良为并行扫描。基于上万查询进行了测试对比结果显示,分片的存储结构能够极大提速原本较慢的查询5-10倍,但对原本较快的查询提速不明显,综合起来平均提速为2倍左右

实验中的feature终于转正---Streaming Cubing

<上一页  1  2  3  4  5  下一页>  余下全文
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号