Apache Kylin™ Technical Blog

Apache Kylin v3.0.0-alpha 发布

近日 Apache Kylin 社区很高兴地宣布,Apache Kylin v3.0.0-alpha 正式发布。

Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。

这是 Kylin 下一代 v3.x 的第一个发布版本,用于早期预览,主要的功能是实时 (Real-time) OLAP。完整的改动列表请参见release notes;这里挑一些主要改进做说明。

重要新功能

KYLIN-3654 - 实时 OLAP

随着引入新的 real-time receiver 和 coordinator 组件,Kylin 能够实现毫秒级别的数据准备延迟,数据源来自流式数据如 Apache Kafka。这意味着,从 v3.0 开始,Kylin 既能够支持历史批量数据的 OLAP,也支持对流式数据的准实时(Near real-time)以及完全实时(real-time)分析。用户可以使用一个 OLAP 平台来服务不同的使用场景。此方案已经在早期用户如 eBay 得到部署和验证。关于如何使用此功能,请参考此教程

KYLIN-3795 - 通过 Apache Livy 递交 Spark 任务

这个功能允许管理员为 Kylin 配置使用 Apache Livy (incubating) 来完成任务的递交。Spark 作业的提交通过 Livy 的 REST API 来提交,而无需在本地启动 Spark Driver 进程,从而方便对 Spark 资源的管理监控,同时也降低对 Kylin 任务进程所在节点的压力。

KYLIN-3820 - 基于 Curator 的任务节点分配和服务发现

新增一种基于Apache Zookeeper 和 Curator作业调度器,可以自动发现 Kylin 节点,并自动分配一个节点来进行任务的管理以及故障恢复。有了这个功能后,管理员可以更加容易地部署和扩展 Kylin 节点,而不再需要在 kylin.properties 中配置每个 Kylin 节点的地址并重启 Kylin 以使之生效。

其它改进

KYLIN-3716 - FastThreadLocal 替换 ThreadLocal

使用 Netty 中的 FastThreadLocal 替代 JDK 原生的 ThreadLocal,可以一定程度上提升 Kylin 在高并发下的性能。

KYLIN-3867 - Enable JDBC to use key store & trust store for https connection

通过使用HTTPS,保护了JDBC使用的身份验证信息,使得Kylin更加安全

KYLIN-3905 - Enable shrunken dictionary default

默认开启 shrunken dictionary,针对高基维进行精确去重的场景,可以显著减少构建用时。

KYLIN-3839 - Storage clean up after the refreshing and deleting a segment

更加及时地清除不必要的数据文件

下载

要下载Apache Kylin 源代码或二进制包,请访问下载页面 page.

升级

参考升级指南.

反馈

如果您遇到问题或疑问,请发送邮件至 Apache Kylin dev 或 user 邮件列表:dev@kylin.apache.org,user@kylin.apache.org; 在发送之前,请确保您已通过发送电子邮件至 dev-subscribe@kylin.apache.org 或 user-subscribe@kylin.apache.org 订阅了邮件列表。

非常感谢所有贡献Apache Kylin的朋友!