配置文件及参数重写

本小节介绍 Kylin 的配置文件和如何进行配置重写。

Kylin 配置文件

Kylin 会自动从环境中读取 Hadoop 配置(core-site.xml),Hive 配置(hive-site.xml)和 HBase 配置(hbase-site.xml),另外,Kylin 的配置文件在 $KYLIN_HOME/conf/ 目录下,如下:

  • kylin_hive_conf.xml:该文件包含了 Hive 任务的配置项。
  • kylin_job_conf.xml & kylin_job_conf_inmem.xml:该文件包含了 MapReduce 任务的配置项。当执行 In-mem Cubing 任务时,需要在 kylin_job_conf_inmem.xml 中为 mapper 申请更多的内存
  • kylin-kafka-consumer.xml:该文件包含了 Kafka 任务的配置项。
  • kylin-server-log4j.properties:该文件包含了 Kylin 服务器的日志配置项。
  • kylin-tools-log4j.properties:该文件包含了 Kylin 命令行的日志配置项。
  • setenv.sh :该文件是用于设置环境变量的 shell 脚本,可以通过 KYLIN_JVM_SETTINGS 调整 Kylin JVM 栈的大小,且可以设置 KAFKA_HOME 等其他环境变量。
  • kylin.properties:该文件是 Kylin 使用的全局配置文件。

配置重写

$KYLIN_HOME/conf/ 中有部分配置项可以在 Web UI 界面进行重写,配置重写分为项目级别配置重写Cube 级别配置重写。配置重写的优先级关系为:Cube 级别配置重写 > 项目级别配置重写 > 全局配置文件。

项目级别配置重写

在 Web UI 界面点击 Manage Project ,选中某个项目,点击 Edit -> Project Config -> + Property,进行项目级别的配置重写,如下图所示:

Cube 级别配置重写

在设计 Cube (Cube Designer)的 Configuration Overwrites 步骤可以添加配置项,进行 Cube 级别的配置重写,如下图所示:

以下参数可以在 Cube 级别重写:

  • kylin.cube.size-estimate*
  • kylin.cube.algorithm*
  • kylin.cube.aggrgroup*
  • kylin.metadata.dimension-encoding-max-length
  • kylin.cube.max-building-segments
  • kylin.cube.is-automerge-enabled
  • kylin.job.allow-empty-segment
  • kylin.job.sampling-percentage
  • kylin.source.hive.redistribute-flat-table
  • kylin.engine.spark*
  • kylin.query.skip-empty-segments

MapReduce 任务配置重写

Kylin 支持在项目和 Cube 级别重写 kylin_job_conf.xmlkylin_job_conf_inmem.xml 中参数,以键值对的性质,按照如下格式替换:
kylin.engine.mr.config-override.<key> = <value>
* 如果用户希望任务从 Yarn 获得更多内存,可以这样设置:
kylin.engine.mr.config-override.mapreduce.map.java.opts=-Xmx7gkylin.engine.mr.config-override.mapreduce.map.memory.mb=8192
* 如果用户希望 Cube 的构建任务使用不同的 YARN resource queue,可以设置:
kylin.engine.mr.config-override.mapreduce.job.queuename={queueName}

Hive 任务配置重写

Kylin 支持在项目和 Cube 级别重写 kylin_hive_conf.xml 中参数,以键值对的性质,按照如下格式替换:
kylin.source.hive.config-override.<key> = <value>
如果用户希望 Hive 使用不同的 YARN resource queue,可以设置:
kylin.source.hive.config-override.mapreduce.job.queuename={queueName}

Spark 任务配置重写

Kylin 支持在项目和 Cube 级别重写 kylin.properties 中的 Spark 参数,以键值对的性质,按照如下格式替换:
kylin.engine.spark-conf.<key> = <value>
如果用户希望 Spark 使用不同的 YARN resource queue,可以设置:
kylin.engine.spark-conf.spark.yarn.queue={queueName}

部署配置

本小节介绍部署 Kylin 相关的配置。

部署 Kylin

  • kylin.env.hdfs-working-dir:指定 Kylin 服务所用的 HDFS 路径,默认值为 /kylin,请确保启动 Kylin 实例的用户有读写该目录的权限
  • kylin.env:指定 Kylin 部署的用途,参数值可选 DEVQAPROD,默认值为 DEV,在 DEV 模式下一些开发者功能将被启用
  • kylin.env.zookeeper-base-path:指定 Kylin 服务所用的 ZooKeeper 路径,默认值为 /kylin
  • kylin.env.zookeeper-connect-string:指定 ZooKeeper 连接字符串,如果为空,使用 HBase 的 ZooKeeper
  • kylin.env.hadoop-conf-dir:指定 Hadoop 配置文件目录,如果不指定的话,获取环境中的 HADOOP_CONF_DIR
  • kylin.server.mode:指定 Kylin 实例的运行模式,参数值可选 alljobquery,默认值为 all,job 模式代表该服务仅用于任务调度,不用于查询;query 模式代表该服务仅用于查询,不用于构建任务的调度;all 模式代表该服务同时用于任务调度和 SQL 查询。
  • kylin.server.cluster-name:指定集群名称

分配更多内存给 Kylin 实例

$KYLIN_HOME/conf/setenv.sh 中存在对 KYLIN_JVM_SETTINGS 的两种示例配置。
默认配置使用的内存较少,用户可以根据自己的实际情况,注释掉默认配置并取消另一配置前的注释符号以启用另一配置,从而为 Kylin 实例分配更多的内存资源,该项配置的默认值如下:

export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -verbose`gc -XX`+PrintGCDetails -XX`+PrintGCDateStamps -Xloggc`$KYLIN_HOME/logs/kylin.gc.$$ -XX`+UseGCLogFileRotation -XX`NumberOfGCLogFiles=10 -XX`GCLogFileSize=64M"
# export KYLIN_JVM_SETTINGS="-Xms16g -Xmx16g -XX`MaxPermSize=512m -XX`NewSize=3g -XX`MaxNewSize=3g -XX`SurvivorRatio=4 -XX`+CMSClassUnloadingEnabled -XX`+CMSParallelRemarkEnabled -XX`+UseConcMarkSweepGC -XX`+CMSIncrementalMode -XX`CMSInitiatingOccupancyFraction=70 -XX`+UseCMSInitiatingOccupancyOnly -XX`+DisableExplicitGC -XX`+HeapDumpOnOutOfMemoryError -verbose`gc -XX`+PrintGCDetails -XX`+PrintGCDateStamps -Xloggc`$KYLIN_HOME/logs/kylin.gc.$$ -XX`+UseGCLogFileRotation -XX`NumberOfGCLogFiles=10 -XX`GCLogFileSize=64M"

任务引擎高可用

  • kylin.job.scheduler.default=2:启用分布式任务调度器
  • kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock:开启分布式任务锁

提示:更多信息请参考 集群模式部署 中的任务引擎高可用部分。

任务引擎安全模式

安全模式仅在默认调度器中生效

  • kylin.job.scheduler.safemode=TRUE: 启用安全模式,新提交的任务不会被执行。
  • kylin.job.scheduler.safemode.runable-projects=project1,project2: 安全模式下仍然可以执行的项目列表,支持设置多个。

读写分离配置

  • kylin.storage.hbase.cluster-fs:指明 HBase 集群的 HDFS 文件系统
  • kylin.storage.hbase.cluster-hdfs-config-file:指向 HBase 集群的 HDFS 配置文件

提示:更多信息请参考 Deploy Apache Kylin with Standalone HBase Cluster

RESTful Webservice

  • kylin.web.timezone:指定 Kylin 的 REST 服务所使用的时区,默认值为 GMT+8
  • kylin.web.cross-domain-enabled:是否支持跨域访问,默认值为 TRUE
  • kylin.web.export-allow-admin:是否支持管理员用户导出信息,默认值为 TRUE
  • kylin.web.export-allow-other:是否支持其他用户导出信息,默认值为 TRUE
  • kylin.web.dashboard-enabled:是否启用 Dashboard,默认值为 FALSE

Metastore 配置

本小节介绍 Kylin Metastore 相关的配置。

元数据相关

  • kylin.metadata.url:指定元数据库路径,默认值为 kylin_metadata@hbase
  • kylin.metadata.sync-retries:指定元数据同步重试次数,默认值为 3
  • kylin.metadata.sync-error-handler:默认值为 DefaultSyncErrorHandler
  • kylin.metadata.check-copy-on-write:清除元数据缓存,默认值为 FALSE
  • kylin.metadata.hbase-client-scanner-timeout-period:表示 HBase 客户端发起一次 scan 操作的 RPC 调用至得到响应之间总的超时时间,默认值为 10000(ms)
  • kylin.metadata.hbase-rpc-timeout:指定 HBase 执行 RPC 操作的超时时间,默认值为 5000(ms)
  • kylin.metadata.hbase-client-retries-number:指定 HBase 重试次数,默认值为 1(次)
  • kylin.metadata.resource-store-provider.jdbc:指定 JDBC 使用的类,默认值为 org.apache.kylin.common.persistence.JDBCResourceStore

基于 MySQL 的 Metastore

  • kylin.metadata.url:指定元数据路径
  • kylin.metadata.jdbc.dialect:指定 JDBC 方言
  • kylin.metadata.jdbc.json-always-small-cell:默认值为 TRUE
  • kylin.metadata.jdbc.small-cell-meta-size-warning-threshold:默认值为 100(MB)
  • kylin.metadata.jdbc.small-cell-meta-size-error-threshold:默认值为 1(GB)
  • kylin.metadata.jdbc.max-cell-size:默认值为 1(MB)
  • kylin.metadata.resource-store-provider.jdbc:指定 JDBC 使用的类,默认值为 org.apache.kylin.common.persistence.JDBCResourceStore

提示:更多信息请参考基于 MySQL 的 Metastore 配置

构建配置

本小节介绍 Kylin 数据建模及构建相关的配置。

Hive 客户端 & SparkSQL

  • kylin.source.hive.client:指定 Hive 命令行类型,参数值可选 cli 或 beeline,默认值为 cli
  • kylin.source.hive.beeline-shell:指定 Beeline shell 的绝对路径,默认值为 beeline
  • kylin.source.hive.beeline-params:当使用 Beeline 做为 Hive 的 Client 工具时,需要配置此参数,以提供更多信息给 Beeline
  • kylin.source.hive.enable-sparksql-for-table-ops:默认值为 FALSE,当使用 SparkSQL 时需要设置为 TRUE
  • kylin.source.hive.sparksql-beeline-shell:当使用 SparkSQL Beeline 做为 Hive 的 Client 工具时,需要配置此参数为 /path/to/spark-client/bin/beeline
  • kylin.source.hive.sparksql-beeline-params:当使用 SparkSQL Beeline 做为 Hive 的 Client 工具时,需要配置此参数

配置 JDBC 数据源

  • kylin.source.default:JDBC 使用的数据源种类
  • kylin.source.jdbc.connection-url:JDBC 连接字符串
  • kylin.source.jdbc.driver:JDBC 驱动类名
  • kylin.source.jdbc.dialect:JDBC方言,默认值为 default
  • kylin.source.jdbc.user:JDBC 连接用户名
  • kylin.source.jdbc.pass:JDBC 连接密码
  • kylin.source.jdbc.sqoop-home:Sqoop 安装路径
  • kylin.source.jdbc.sqoop-mapper-num:指定应该分为多少个切片,Sqoop 将为每一个切片运行一个 mapper,默认值为 4
  • kylin.source.jdbc.field-delimiter:指定字段分隔符, 默认值为 \

提示:更多信息请参考建立 JDBC 数据源

数据类型精度

  • kylin.source.hive.default-varchar-precision:指定 varchar 字段的最大长度,默认值为256
  • kylin.source.hive.default-char-precision:指定 char 字段的最大长度,默认值为 255
  • kylin.source.hive.default-decimal-precision:指定 decimal 字段的精度,默认值为 19
  • kylin.source.hive.default-decimal-scale:指定 decimal 字段的范围,默认值为 4

Cube 设计

  • kylin.cube.ignore-signature-inconsistency:Cube desc 中的 signature 信息能保证 Cube 不被更改为损坏状态,默认值为 FALSE
  • kylin.cube.aggrgroup.max-combination:指定一个 Cube 的聚合组 Cuboid 上限,默认值为 32768
  • kylin.cube.aggrgroup.is-mandatory-only-valid:是否允许 Cube 只包含 Base Cuboid,默认值为 FALSE,当使用 Spark Cubing 时需设置为 TRUE
  • kylin.cube.rowkey.max-size:指定可以设置为 Rowkeys 的最大列数,默认值为 63,且最大不能超过 63
  • kylin.cube.allow-appear-in-multiple-projects:是否允许一个 Cube 出现在多个项目中
  • kylin.cube.gtscanrequest-serialization-level:默认值为 1
  • kylin.metadata.dimension-encoding-max-length:指定维度作为 Rowkeys 时使用 fix_length 编码时的最大长度,默认值为 256
  • kylin.web.hide-measures: 隐藏一些可能不需要的度量,默认值是RAW

Cube 大小估计

Kylin 和 HBase 都在写入磁盘时使用压缩,因此,Kylin 将在其原来的大小上乘以比率来估计 Cube 大小。

  • kylin.cube.size-estimate-ratio:普通的 Cube,默认值为 0.25
  • kylin.cube.size-estimate-memhungry-ratio:已废弃,默认值为 0.05
  • kylin.cube.size-estimate-countdistinct-ratio:包含精确去重度量的 Cube 大小估计,默认值为 0.5
  • kylin.cube.size-estimate-topn-ratio:包含 TopN 度量的 Cube 大小估计,默认值为 0.5

Cube 构建算法

  • kylin.cube.algorithm:指定 Cube 构建的算法,参数值可选 autolayerinmem, 默认值为 auto,即 Kylin 会通过采集数据动态地选择一个算法 (layer or inmem),如果用户很了解 Kylin 和自身的数据、集群,可以直接设置喜欢的算法
  • kylin.cube.algorithm.layer-or-inmem-threshold:默认值为 7
  • kylin.cube.algorithm.inmem-split-limit:默认值为 500
  • kylin.cube.algorithm.inmem-concurrent-threads:默认值为 1
  • kylin.job.sampling-percentage:指定数据采样百分比,默认值为 100

自动合并

  • kylin.cube.is-automerge-enabled:是否启用自动合并,默认值为 TRUE,将该参数设置为 FALSE 时,自动合并功能会被关闭,即使 Cube 设置中开启了自动合并、设置了自动合并阈值,也不会触发合并任务。

维表快照

  • kylin.snapshot.max-mb:允许维表的快照大小的上限,默认值为 300(M)
  • kylin.snapshot.max-cache-entry:缓存中最多可以存储的 snapshot 数量,默认值为 500
  • kylin.snapshot.ext.shard-mb:设置存储维表快照的 HBase 分片大小,默认值为 500(M)
  • kylin.snapshot.ext.local.cache.path:本地缓存路径,默认值为 lookup_cache
  • kylin.snapshot.ext.local.cache.max-size-gb:本地维表快照缓存大小,默认值为 200(M)

Cube 构建

  • kylin.storage.default:指定默认的构建引擎,默认值为 2,即 HBase
  • kylin.source.hive.keep-flat-table:是否在构建完成后保留 Hive 中间表,默认值为 FALSE
  • kylin.source.hive.database-for-flat-table:指定存放 Hive 中间表的 Hive 数据库名字,默认值为 default,请确保启动 Kylin 实例的用户有操作该数据库的权限
  • kylin.source.hive.flat-table-storage-format:指定 Hive 中间表的存储格式,默认值为 SEQUENCEFILE
  • kylin.source.hive.flat-table-field-delimiter:指定 Hive 中间表的分隔符,默认值为 \u001F
  • kylin.source.hive.intermediate-table-prefix:指定 Hive 中间表的表名前缀,默认值为 kylin_intermediate_
  • kylin.source.hive.redistribute-flat-table:是否重分配 Hive 平表,默认值为 TRUE
  • kylin.source.hive.redistribute-column-count:重分配列的数量,默认值为 3
  • kylin.source.hive.table-dir-create-first:默认值为 FALSE
  • kylin.storage.partition.aggr-spill-enabled:默认值为 TRUE
  • kylin.engine.mr.lib-dir:指定 MapReduce 任务所使用的 jar 包的路径
  • kylin.engine.mr.reduce-input-mb:MapReduce 任务启动前会依据输入预估 Reducer 接收数据的总量,再除以该参数得出 Reducer 的数目,默认值为 500(MB)
  • kylin.engine.mr.reduce-count-ratio:用于估算 Reducer 数目,默认值为 1.0
  • kylin.engine.mr.min-reducer-number:MapReduce 任务中 Reducer 数目的最小值,默认值为 1
  • kylin.engine.mr.max-reducer-number:MapReduce 任务中 Reducer 数目的最大值,默认值为 500
  • kylin.engine.mr.mapper-input-rows:每个 Mapper 可以处理的行数,默认值为 1000000,如果将这个值调小,会起更多的 Mapper
  • kylin.engine.mr.max-cuboid-stats-calculator-number:用于计算 Cube 统计数据的线程数量,默认值为 1
  • kylin.engine.mr.build-dict-in-reducer:是否在构建任务 Extract Fact Table Distinct Columns 的 Reduce 阶段构建字典,默认值为 TRUE
  • kylin.engine.mr.yarn-check-interval-seconds:构建引擎间隔多久检查 Hadoop 任务的状态,默认值为 10(s)
  • kylin.engine.mr.use-local-classpath: 是否使用本地 mapreduce 应用的 classpath。默认值为 TRUE

字典相关

  • kylin.dictionary.use-forest-trie:默认值为 TRUE
  • kylin.dictionary.forest-trie-max-mb:默认值为 500
  • kylin.dictionary.max-cache-entry:默认值为 3000
  • kylin.dictionary.growing-enabled:默认值为 FALSE
  • kylin.dictionary.append-entry-size:默认值为 10000000
  • kylin.dictionary.append-max-versions:默认值为 3
  • kylin.dictionary.append-version-ttl:默认值为 259200000
  • kylin.dictionary.resuable:是否重用字典,默认值为 FALSE
  • kylin.dictionary.shrunken-from-global-enabled:是否缩小全局字典,默认值为 TRUE

超高基维度的处理

Cube 构建默认在 Extract Fact Table Distinct Column 这一步为每一列分配一个 Reducer,对于超高基维度,可以通过以下参数增加 Reducer 个数

  • kylin.engine.mr.build-uhc-dict-in-additional-step:默认值为 FALSE,设置为 TRUE
  • kylin.engine.mr.uhc-reducer-count:默认值为 1,可以设置为 5,即为每个超高基的列分配 5 个 Reducer。

Spark 构建引擎

  • kylin.engine.spark-conf.spark.master:指定 Spark 运行模式,默认值为 yarn
  • kylin.engine.spark-conf.spark.submit.deployMode:指定 Spark on YARN 的部署模式,默认值为 cluster
  • kylin.engine.spark-conf.spark.yarn.queue:指定 Spark 资源队列,默认值为 default
  • kylin.engine.spark-conf.spark.driver.memory:指定 Spark Driver 内存大小,默认值为 2G
  • kylin.engine.spark-conf.spark.executor.memory:指定 Spark Executor 内存大小,默认值为 4G
  • kylin.engine.spark-conf.spark.yarn.executor.memoryOverhead:指定 Spark Executor 堆外内存大小,默认值为 1024(MB)
  • kylin.engine.spark-conf.spark.executor.cores:指定单个 Spark Executor可用核心数,默认值为 1
  • kylin.engine.spark-conf.spark.network.timeout:指定 Spark 网络超时时间,600
  • kylin.engine.spark-conf.spark.executor.instances:指定一个 Application 拥有的 Spark Executor 数量,默认值为 1
  • kylin.engine.spark-conf.spark.eventLog.enabled:是否记录 Spark 时间,默认值为 TRUE
  • kylin.engine.spark-conf.spark.hadoop.dfs.replication:HDFS 的副本数,默认值为 2
  • kylin.engine.spark-conf.spark.hadoop.mapreduce.output.fileoutputformat.compress:是否压缩输出,默认值为 TRUE
  • kylin.engine.spark-conf.spark.hadoop.mapreduce.output.fileoutputformat.compress.codec:输出所用压缩,默认值为 org.apache.hadoop.io.compress.DefaultCodec
  • kylin.engine.spark.rdd-partition-cut-mb:Kylin 用该参数的大小来分割 partition,默认值为 10(MB),可以在 Cube 级别重写这个参数,调整至更大,来减少分区数
  • kylin.engine.spark.min-partition:最小分区数,默认值为 1
  • kylin.engine.spark.max-partition:最大分区数,默认值为 5000
  • kylin.engine.spark.storage-level:RDD 分区数据缓存级别,默认值为 MEMORY_AND_DISK_SER
  • kylin.engine.spark-conf-mergedict.spark.executor.memory:为合并字典申请更多的内存,默认值为 6G
  • kylin.engine.spark-conf-mergedict.spark.memory.fraction:给系统预留的内存百分比,默认值为 0.2

提示:更多信息请参考 用 Spark 构建 Cube

通过 Livy 提交 Spark 任务

  • kylin.engine.livy-conf.livy-enabled:是否开启 Livy 进行 Spark 任务的提交。默认值为 FALSE
  • kylin.engine.livy-conf.livy-url:指定了 Livy 的 URL。例如 http://127.0.0.1:8998
  • kylin.engine.livy-conf.livy-key.*:指定了 Livy 的 name-key 配置。例如 kylin.engine.livy-conf.livy-key.name=kylin-livy-1
  • kylin.engine.livy-conf.livy-arr.*:指定了 Livy 数组类型的配置。以逗号分隔。例如 kylin.engine.livy-conf.livy-arr.jars=hdfs://your_self_path/hbase-common-1.4.8.jar,hdfs://your_self_path/hbase-server-1.4.8.jar,hdfs://your_self_path/hbase-client-1.4.8.jar
  • kylin.engine.livy-conf.livy-map.*:指定了 Spark 配置。例如 kylin.engine.livy-conf.livy-map.spark.executor.instances=10

提示:更多信息请参考 Apache Livy Rest API

Spark 资源动态分配

  • kylin.engine.spark-conf.spark.shuffle.service.enabled:是否开启 shuffle service
  • kylin.engine.spark-conf.spark.dynamicAllocation.enabled:是否启用 Spark 资源动态分配
  • kylin.engine.spark-conf.spark.dynamicAllocation.initialExecutors:如果所有的 Executor 都移除了,重新请求启动时初始 Executor 数量
  • kylin.engine.spark-conf.spark.dynamicAllocation.minExecutors:最少保留的 Executor 数量
  • kylin.engine.spark-conf.spark.dynamicAllocation.maxExecutors:最多申请的 Executor 数量
  • kylin.engine.spark-conf.spark.dynamicAllocation.executorIdleTimeout:Executor 空闲时间超过设置的值后,除非有缓存数据,不然会被移除,默认值为 60(s)

提示:更多信息请参考 Dynamic Resource Allocation

任务相关

  • kylin.job.log-dir:默认值为 /tmp/kylin/logs
  • kylin.job.allow-empty-segment:是否容忍数据源为空,默认值为 TRUE
  • kylin.job.max-concurrent-jobs:最大构建并发数,默认值为 10
  • kylin.job.retry:构建任务失败后的重试次数,默认值为 0
  • kylin.job.retry-interval: 每次重试的间隔毫秒数。默认值为 30000
  • kylin.job.scheduler.priority-considered:是否考虑任务优先级,默认值为 FALSE
  • kylin.job.scheduler.priority-bar-fetch-from-queue:指定从优先级队列中获取任务的时间间隔,默认值为 20(s)
  • kylin.job.scheduler.poll-interval-second:从队列中获取任务的时间间隔,默认值为 30(s)
  • kylin.job.error-record-threshold:指定任务抛出错误信息的阈值,默认值为 0
  • kylin.job.cube-auto-ready-enabled:是否在构建完成后自动启用 Cube,默认值为 TRUE
  • kylin.cube.max-building-segments:指定对同一个 Cube 的最大构建数量,默认值为 10

启用邮件通知

  • kylin.job.notification-enabled:是否在任务成功或者失败时进行邮件通知,默认值为 FALSE
  • kylin.job.notification-mail-enable-starttls:# 是否启用 starttls,默认值为 FALSE
  • kylin.job.notification-mail-host:指定邮件的 SMTP 服务器地址
  • kylin.job.notification-mail-port:指定邮件的 SMTP 服务器端口,默认值为 25
  • kylin.job.notification-mail-username:指定邮件的登录用户名
  • kylin.job.notification-mail-password:指定邮件的用户名密码
  • kylin.job.notification-mail-sender:指定邮件的发送邮箱地址
  • kylin.job.notification-admin-emails:指定邮件通知的管理员邮箱

启用 Cube Planner

  • kylin.cube.cubeplanner.enabled:默认值为 TRUE
  • kylin.server.query-metrics2-enabled:默认值为 TRUE
  • kylin.metrics.reporter-query-enabled:默认值为 TRUE
  • kylin.metrics.reporter-job-enabled:默认值为 TRUE
  • kylin.metrics.monitor-enabled:默认值为 TRUE
  • kylin.cube.cubeplanner.enabled:是否启用 Cube Planner,默认值为 TRUE
  • kylin.cube.cubeplanner.enabled-for-existing-cube:是否对已有的 Cube 启用 Cube Planner,默认值为 TRUE
  • kylin.cube.cubeplanner.algorithm-threshold-greedy:默认值为 8
  • kylin.cube.cubeplanner.expansion-threshold:默认值为 15.0
  • kylin.cube.cubeplanner.recommend-cache-max-size:默认值为 200
  • kylin.cube.cubeplanner.query-uncertainty-ratio:默认值为 0.1
  • kylin.cube.cubeplanner.bpus-min-benefit-ratio:默认值为 0.01
  • kylin.cube.cubeplanner.algorithm-threshold-genetic:默认值为 23

提示:更多信息请参考 使用 Cube Planner

HBase 存储

  • kylin.storage.hbase.table-name-prefix:默认值为 KYLIN_
  • kylin.storage.hbase.namespace:指定 HBase 存储默认的 namespace,默认值为 default
  • kylin.storage.hbase.coprocessor-local-jar:指向 HBase 协处理器有关 jar 包
  • kylin.storage.hbase.coprocessor-mem-gb:设置 HBase 协处理器内存大小,默认值为 3.0(GB)
  • kylin.storage.hbase.run-local-coprocessor:是否运行本地 HBase 协处理器,默认值为 FALSE
  • kylin.storage.hbase.coprocessor-timeout-seconds:设置超时时间,默认值为 0
  • kylin.storage.hbase.region-cut-gb:单个 Region 的大小,默认值为 5.0
  • kylin.storage.hbase.min-region-count:指定最小 Region 个数,默认值为 1
  • kylin.storage.hbase.max-region-count:指定最大 Region 个数,默认值为 500
  • kylin.storage.hbase.hfile-size-gb:指定 HFile 大小,默认值为 2.0(GB)
  • kylin.storage.hbase.max-scan-result-bytes:指定扫描返回结果的最大值,默认值为 5242880(byte),即 5(MB)
  • kylin.storage.hbase.compression-codec:是否压缩,默认值为 none,即不开启压缩
  • kylin.storage.hbase.rowkey-encoding:指定 Rowkey 的编码方式,默认值为 FAST_DIFF
  • kylin.storage.hbase.block-size-bytes:默认值为 1048576
  • kylin.storage.hbase.small-family-block-size-bytes:指定 Block 大小,默认值为 65536(byte),即 64(KB)
  • kylin.storage.hbase.owner-tag:指定 Kylin 平台的所属人,默认值为 whoami@kylin.apache.org
  • kylin.storage.hbase.endpoint-compress-result:是否返回压缩结果,默认值为 TRUE
  • kylin.storage.hbase.max-hconnection-threads:指定连接线程数量的最大值,默认值为 2048
  • kylin.storage.hbase.core-hconnection-threads:指定核心连接线程的数量,默认值为 2048
  • kylin.storage.hbase.hconnection-threads-alive-seconds:指定线程存活时间,默认值为 60
  • kylin.storage.hbase.replication-scope:指定集群复制范围,默认值为 0
  • kylin.storage.hbase.scan-cache-rows:指定扫描缓存行数,默认值为 1024

备用 Hbase 存储

Kylin支持用户配置备用Hbase,这样在集群迁移时,Kylin仍然可以从旧集群中查询到构建好的Cube数据。

  • kylin.secondary.storage.url: 指定备用Hbase的集群地址以及metadata url,zookeeper信息. 例如 kylin.secondary.storage.url=hostname:kylin_metadata@hbase,hbase.zookeeper.quorum=hostname:11000,zookeeper.znode.parent=/hbase/.如果还有其他的配置项,可以以 = 的形式添加在后面.

提示:更多信息请参考 KYLIN-4175

任务输出

为了避免job output的内容太多,用户可以设置output的最大长度。

  • kylin.job.execute-output.max-size: Job output的最大长度. 默认值为10484760.
  • kylin.engine.spark.output.max-size: Spark job output的最大长度. 默认值为10484760.

启用压缩

Kylin 在默认状态下不会启用压缩,不支持的压缩算法会阻碍 Kylin 的构建任务,但是一个合适的压缩算法可以减少存储开销和网络开销,提高整体系统运行效率。
Kylin 可以使用三种类型的压缩,分别是 HBase 表压缩,Hive 输出压缩 和 MapReduce 任务输出压缩。

注意:压缩设置只有在重启 Kylin 实例后才会生效。

  • HBase 表压缩

该项压缩通过 kyiln.properties 中的 kylin.storage.hbase.compression-codec 进行配置,参数值可选 nonesnappylzogziplz4),默认值为 none,即不压缩数据。

注意:在修改压缩算法前,请确保用户的 HBase 集群支持所选压缩算法。

  • Hive 输出压缩

该项压缩通过 kylin_hive_conf.xml 进行配置,默认配置为空,即直接使用了 Hive 的默认配置。如果想重写配置,请在 kylin_hive_conf.xml 中添加 (或替换) 下列属性。以 SNAPPY 压缩为例:

<property>
	<name>mapreduce.map.output.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
<property>
	<name>mapreduce.output.fileoutputformat.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
  • MapReduce 任务输出压缩

该项压缩通过 kylin_job_conf.xmlkylin_job_conf_inmem.xml 进行配置。默认值为空,即使用 MapReduce 的默认配置。如果想重写配置,请在 kylin_job_conf.xmlkylin_job_conf_inmem.xml 中添加 (或替换) 下列属性。以 SNAPPY 压缩为例:

<property>
	<name>mapreduce.map.output.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
<property>
	<name>mapreduce.output.fileoutputformat.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>

实时 OLAP

全局设置

  • kylin.stream.job.dfs.block.size: 指定了流式构建 Cuboid 任务所需 HDFS 块的大小。默认值为 16M
  • kylin.stream.index.path: 指定了存储segment cache file的本地路径(包括本地fragment file和checkpoint file)。支持相对路径和绝对路径,默认值是 stream_index,也就是写到$KYLIN_HOME/stream_index,如果数据量很大的话将会占用大量磁盘空间,您也可以根据您的需求写成绝对路径以将数据放到数据盘。
  • kylin.stream.node: 指定了 receiver/coordinator的地址。格式应该为hostname:port或者port。如果设置成port,Kylin将会自动补全hostname;如果不设置该属性,将会使用默认的端口(Coordinator:7070,Receiver:9090)。当进程启动时,会将自身注册到Metadata。
  • kylin.stream.metadata.store.type: 指定了Realtime集群信息的元数据存储。默认值是 zk
  • kylin.stream.receiver.use-threads-per-query: 指定了每个查询使用的线程资源数量。默认值是8

Cube 级别设置

  • kylin.stream.index.maxrows: 指定了缓存在堆内的聚合后的事件最大行数。默认值是50000。这个参数会影响Fragment File的数量,可以根据需求适当调高。
  • kylin.stream.cube-num-of-consumer-tasks: 指定了一个topic的全部消息的摄入将由哪多少Replica Set来负责。如果您的消息速率较大,需要适当提升这个数值。默认值是3
  • kylin.stream.segment.retention.policy: 当Segment状态变为IMMUTABLE,该配置指定了Receiver如何处理本地Segment Cache。可选值包含purgefullBuild。设置为purge后,Receiver会等待一定时间后删除本地数据;设置为fullBuild后,数据会上传到HDFS并等待构建。默认值是fullBuild
  • kylin.stream.build.additional.cuboids: 默认情况下Receiver只构建base cuboid来回答查询,可以在Receiver端是否构建额外的cuboid,如果你希望优化某些查询的响应时间。具体哪些额外的Cuboid需要被构建由高级配置页面的强制Cuboid指定。
  • kylin.stream.cube.window: 指定了Streaming Segment的长度。默认值是3600。详情参阅deep-dive-real-time-olap
  • kylin.stream.cube.duration: 指定了Streaming Segment会等待迟到的消息多久,默认值是 7200(秒)。 详情参阅deep-dive-real-time-olap
  • kylin.stream.cube.duration.max: 指定了Streaming Segment保持Active的最长时间。默认值是 43200。详情参阅deep-dive-real-time-olap
  • kylin.stream.checkpoint.file.max.num: 指定了Receiver为每一个Cube保留的checkpoint文件数量。默认值是 5
  • kylin.stream.index.checkpoint.intervals: 指定了Receiver进行checkpoint的间隔。默认值是 300
  • kylin.stream.immutable.segments.max.num: 指定了在Receiver端,一个Cube最多可以保持多少个IMMUTABLEsegment,因为Receiver端的性能和Fragment File的数量呈负相关。默认值是 100
  • kylin.stream.consume.offsets.latest:指定了Receiver从什么位置开始消费,设置成true则从最新的offset开始消费,false则从最老的位置消费。默认值是 true

高级设置

  • kylin.stream.assigner: 值是一个类的名字,这个类应该是org.apache.kylin.stream.coordinator.assign.Assigner的实现类,用于指定如何将Kafka Topic 下的各个Partition分配给各个Replica Set。默认值是 DefaultAssigner,其策略会努力将工作负载分配给负责partition数量少的Replica Set,以使得各个Replica Set工作负载相对均衡。
  • kylin.stream.coordinator.client.timeout.millsecond: 指定和Coordinator HTTP连接的Timeout,默认值是 5000
  • kylin.stream.receiver.client.timeout.millsecond:指定和Receiver HTTP连接的Timeout,默认值是 5000
  • kylin.stream.receiver.http.max.threads: 指定了Receiver端的Http连接最大线程数。默认值为 200
  • kylin.stream.receiver.http.min.threads: 指定了Receiver端的Http连接最小线程数。默认值为 10
  • kylin.stream.receiver.query-core-threads: 指定了Receiver用于scan的线程数量,默认值是50
  • kylin.stream.receiver.query-max-threads: 指定了Receiver用于scan的线程最大数量,默认值是200
  • kylin.stream.segment-max-fragments: Receiver端每次MemoryStore大小达到阈值(kylin.stream.index.maxrows),会落盘形成一个Fragment File,Receiver会尝试尽可能合并这些Fragment File来减少数据冗余。这个配置项会指定触发merge的阈值,默认值是50
  • kylin.stream.segment-min-fragments: Receiver端的每次merge后不会使文件数量少于这个阈值,默认值是 15
  • kylin.stream.max-fragment-size-mb: 合并后,每个Fragment File的大小不会超过该值,默认值是 300
  • kylin.stream.fragments-auto-merge-enable: 是否开启后台自动合并Fragment File。默认值是 true
  • kylin.stream.metrics.option: 指定是否开启Receiver端的metrics信息收集, 可选值是 csv/console/jmx。
  • kylin.stream.event.timezone: 指定从Event Time衍生出来的时间衍生列如HOUR_START/DAY_START使用哪种时区,默认是UTC时间。
  • kylin.stream.auto-resubmit-after-discard-enabled: 当用户 discard了某一个 Realtime的构建任务,是否自动重新提交新任务。

提示:入门教程 请参考 Real-time OLAP

存储清理配置

本小节介绍 Kylin 存储清理有关的配置。

存储清理相关

  • kylin.storage.clean-after-delete-operation: 是否清理 HBase 和 HDFS 中的 segment 数据。默认值为 FALSE。

查询配置

本小节介绍 Kylin 查询有关的配置。

查询相关

  • kylin.query.skip-empty-segments:查询是否跳过数据量为 0 的 segment,默认值为 TRUE
  • kylin.query.large-query-threshold:指定最大返回行数,默认值为 1000000
  • kylin.query.security-enabled:是否在查询时检查 ACL,默认值为 TRUE
  • kylin.query.security.table-acl-enabled:是否在查询时检查对应表的 ACL,默认值为 TRUE
  • kylin.query.calcite.extras-props.conformance:是否严格解析,默认值为 LENIENT
  • kylin.query.calcite.extras-props.caseSensitive:是否大小写敏感,默认值为 TRUE
  • kylin.query.calcite.extras-props.unquotedCasing:是否需要将查询语句进行大小写转换,参数值可选 UNCHANGEDTO_UPPERTO_LOWER ,默认值为 TO_UPPER,即全部大写
  • kylin.query.calcite.extras-props.quoting:是否添加引号,参数值可选 DOUBLE_QUOTEBACK_TICKBRACKET,默认值为 DOUBLE_QUOTE
  • kylin.query.statement-cache-max-num:缓存的 PreparedStatement 的最大条数,默认值为 50000
  • kylin.query.statement-cache-max-num-per-key:每个键缓存的 PreparedStatement 的最大条数,默认值为 50
  • kylin.query.enable-dict-enumerator:是否启用字典枚举器,默认值为 FALSE
  • kylin.query.enable-dynamic-column:是否启用动态列,默认值为 FALSE,设置为 TRUE 后可以查询一列中不包含 NULL 的行数

模糊查询

  • kylin.storage.hbase.max-fuzzykey-scan:设置扫描的模糊键的阈值,超过该参数值便不再扫描模糊键,默认值为 200
  • kylin.storage.hbase.max-fuzzykey-scan-split:分割大模糊键集来减少每次扫描中模糊键的数量,默认值为 1
  • kylin.storage.hbase.max-visit-scanrange:默认值为 1000000

查询缓存

  • kylin.query.cache-enabled:是否启用缓存,默认值为 TRUE
  • kylin.query.cache-threshold-duration:查询延时超过阈值则保存进缓存,默认值为 2000(ms)
  • kylin.query.cache-threshold-scan-count:查询所扫描的数据行数超过阈值则保存进缓存,默认值为 10240(rows)
  • kylin.query.cache-threshold-scan-bytes:查询所扫描的数据字节数超过阈值则保存进缓存,默认值为 1048576(byte)

查询限制

  • kylin.query.timeout-seconds:设置查询超时时间,默认值为 0,即没有限制,如果设置的值小于 60,会被强制替换成 60 秒
  • kylin.query.timeout-seconds-coefficient:设置查询超时秒数的系数,默认值为 0.5
  • kylin.query.max-scan-bytes:设置查询扫描字节的上限,默认值为 0,即没有限制
  • kylin.storage.partition.max-scan-bytes:设置查询扫描的最大字节数,默认值为 3221225472(bytes),即 3GB
  • kylin.query.max-return-rows:指定查询返回行数的上限,默认值为 5000000

坏查询

kylin.query.timeout-seconds 的值为大于 60 或为 0,kylin.query.timeout-seconds-coefficient 其最大值为 double 的上限。这两个参数的乘积为坏查询检查的间隔时间,如果为 0,那么会设为 60 秒,最长秒数是 int 的最大值。

  • kylin.query.badquery-stacktrace-depth:设置堆栈追踪的深度,默认值为 10
  • kylin.query.badquery-history-number:设置要展示的历史坏查询的数量,默认为 50
  • kylin.query.badquery-alerting-seconds:默认为 90,如果运行时间大于这个值,那么首先就会打出该查询的日志信息,包括(时长、项目、线程、用户、查询 id)。至于是否保存最近的查询,取决于另一个参数。然后记录 Stack 日志信息,记录的深度由另一个参数指定,方便后续问题分析
  • kylin.query.badquery-persistent-enabled:默认为 true,会保存最近的一些坏查询,而且不可在 Cube 级别进行覆盖

查询下压

  • kylin.query.pushdown.runner-class-name=org.apache.kylin.query.adhoc.PushDownRunnerJdbcImpl:如果需要启用查询下压,需要移除这句配置的注释
  • kylin.query.pushdown.jdbc.url:JDBC 的 URL
  • kylin.query.pushdown.jdbc.driver:JDBC 的 driver 类名,默认值为 org.apache.hive.jdbc.HiveDriver
  • kylin.query.pushdown.jdbc.username:JDBC 对应数据库的用户名,默认值为 hive
  • kylin.query.pushdown.jdbc.password:JDBC 对应数据库的密码
  • kylin.query.pushdown.jdbc.pool-max-total:JDBC 连接池的最大连接数,默认值为8
  • kylin.query.pushdown.jdbc.pool-max-idle:JDBC 连接池的最大等待连接数,默认值为8
  • kylin.query.pushdown.jdbc.pool-min-idle:默认值为 0
  • kylin.query.pushdown.update-enabled:指定是否在查询下压中开启 update,默认值为 FALSE
  • kylin.query.pushdown.cache-enabled:是否开启下压查询的缓存来提高相同查询语句的查询效率,默认值为 FALSE

提示:更多信息请参考查询下压

查询改写

  • kylin.query.force-limit:该参数通过为 select * 语句强制添加 LIMIT 分句,达到缩短数据返回时间的目的,该参数默认值为 -1,将该参数值设置为正整数,如 1000,该值会被应用到 LIMIT 分句,查询语句最终会被转化成 select * from fact_table limit 1000
  • kylin.storage.limit-push-down-enabled: 默认值为 TRUE,设置为 FALSE 意味着关闭存储层的 limit-pushdown
  • kylin.query.flat-filter-max-children:指定打平 filter 时 filter 的最大值。默认值为 500000

收集查询指标到 JMX

  • kylin.server.query-metrics-enabled:默认值为 FALSE,设为 TRUE 来将查询指标收集到 JMX

提示:更多信息请参考 JMX

收集查询指标到 dropwizard

  • kylin.server.query-metrics2-enabled:默认值为 FALSE,设为 TRUE 来将查询指标收集到 dropwizard

提示:更多信息请参考 dropwizard

安全配置

本小节介绍 Kylin 安全有关的配置。

用户名和密码

请参考文档:How to add new user or change the default password

集成 LDAP 实现单点登录

  • kylin.security.profile:安全认证的方式,参数值可选 ldaptestingsaml。集成 LDAP 实现单点登录时应设置为 ldap
  • kylin.security.ldap.connection-server:LDAP 服务器,如 ldap://ldap_server:389
  • kylin.security.ldap.connection-username:LDAP 用户名
  • kylin.security.ldap.connection-password:LDAP 密码
  • kylin.security.ldap.user-search-base:定义同步到 Kylin 的用户的范围
  • kylin.security.ldap.user-search-pattern:定义登录验证匹配的用户名
  • kylin.security.ldap.user-group-search-base:定义同步到 Kylin 的用户组的范围
  • kylin.security.ldap.user-group-search-filter:定义同步到 Kylin 的用户的类型
  • kylin.security.ldap.service-search-base:当需要服务账户可以访问 Kylin 时需要定义
  • kylin.security.ldap.service-search-pattern:当需要服务账户可以访问 Kylin 时需要定义
  • kylin.security.ldap.service-group-search-base:当需要服务账户可以访问 Kylin 时需要定义
  • kylin.security.acl.admin-role:将一个 LDAP 群组映射成管理员角色(组名大小写敏感)
  • kylin.server.auth-user-cache.expire-seconds:LDAP 用户信息缓存时间,默认值为 300(s)
  • kylin.server.auth-user-cache.max-entries:LDAP 用户数目最大缓存,默认值为 100

集成 Apache Ranger

  • kylin.server.external-acl-provider=org.apache.ranger.authorization.kylin.authorizer.RangerKylinAuthorizer

提示:更多信息请参考Ranger 的安装文档之如何集成 Kylin 插件

启用 ZooKeeper ACL

  • kylin.env.zookeeper-acl-enabled:启用 ZooKeeper ACL 以阻止未经授权的用户访问 Znode 或降低由此导致的不良操作的风险,默认值为 FALSE
  • kylin.env.zookeeper.zk-auth:使用 用户名:密码 作为 ACL 标识,默认值为 digest:ADMIN:KYLIN
  • kylin.env.zookeeper.zk-acl:使用单个 ID 作为 ACL 标识,默认值为 world:anyone:rwcdaanyone 表示任何人

使用 Memcached 作为 Kylin 查询缓存

从 v2.6.0,Kylin 可以使用 Memcached 作为查询缓存,一起引入的还有一系列缓存增强 (KYLIN-2895)。想要启用该功能,您需要执行以下步骤:

  1. 在一个或多个节点上安装 Memcached (最新稳定版 v1.5.12); 如果资源够的话,可以在每个安装 Kylin 的节点上安装 Memcached。

  2. 按照如下所示方式修改 $KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/classes 目录下的 applicationContext.xml 的内容:

注释如下代码:

<bean id="ehcache"
      class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean"
      p:configLocation="classpath:ehcache-test.xml" p:shared="true"/>

<bean id="cacheManager" class="org.springframework.cache.ehcache.EhCacheCacheManager"
      p:cacheManager-ref="ehcache"/>

取消如下代码的注释:

<bean id="ehcache" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean"
      p:configLocation="classpath:ehcache-test.xml" p:shared="true"/>

<bean id="remoteCacheManager" class="org.apache.kylin.cache.cachemanager.MemcachedCacheManager" />
<bean id="localCacheManager" class="org.apache.kylin.cache.cachemanager.InstrumentedEhCacheCacheManager"
      p:cacheManager-ref="ehcache"/>
<bean id="cacheManager" class="org.apache.kylin.cache.cachemanager.RemoteLocalFailOverCacheManager" />

<bean id="memcachedCacheConfig" class="org.apache.kylin.cache.memcached.MemcachedCacheConfig">
    <property name="timeout" value="500" />
    <property name="hosts" value="${kylin.cache.memcached.hosts}" />
</bean>

applicationContext.xml 中 ${kylin.cache.memcached.hosts} 的值就是在 conf/kylin.properties 中指定的 kylin.cache.memcached.hosts 的值。

3.在 conf/kylin.properties 中添加如下参数:

kylin.query.cache-enabled=true
kylin.query.lazy-query-enabled=true
kylin.query.cache-signature-enabled=true
kylin.query.segment-cache-enabled=true
kylin.cache.memcached.hosts=memcached1:11211,memcached2:11211,memcached3:11211
  • kylin.query.cache-enabled 是否开启查询缓存的总开关,默认值为 true
  • kylin.query.lazy-query-enabled 是否为短时间内重复发送的查询,等待并重用前次查询的结果,默认为 false
  • kylin.query.cache-signature-enabled 是否为缓存进行签名检查,依据签名变化来决定缓存的有效性。缓存的签名由项目中的 cube / hybrid 的状态以及它们的最后构建时间等来动态计算(在缓存被记录时),默认为 false,高度推荐设置为 true
  • kylin.query.segment-cache-enabled 是否在 segment 级别缓存从 存储引擎(HBase)返回的数据,默认为 false;设置为 true,且启用 Memcached 分布式缓存开启的时候,此功能才会生效。可为频繁构建的 cube (如 streaming cube)提升缓存命中率,从而提升性能。
  • kylin.cache.memcached.hosts 指明了 memcached 的机器名和端口。