没账号？一键数据猿账号
已有账号？
已有账号？
不容错过的资讯
大数据学堂
大数据企业推荐
大家都在搜OLAP引擎——Kylin介绍
日期: 14:08:25
来源：csdn
OLAP引擎——Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的数据库查询完成，而不会有任何的预计算，大大节约了存储空间的要求（但是会有查询结果的缓存，目前是缓存在程序内存中，很容易导致OOM），而kylin是一个MOLAP系统，通过预计算的方式缓存了所有需要查询的的数据结果，需要大量的存储空间（原数据量的10+倍）。一般我们要分析的数据可能存储在关系数据库（mysql、oracle，一般是程序内部写入的一些业务数据，可能存在分表甚至分库的需求）、HDFS上数据（结构化数据，一般是业务的日志信息，通过hive查询）、文本文件、excel等。kylin主要是对hive中的数据进行预计算，利用hadoop的mapreduce框架实现。而mondrian理论上可以支持任意的提供SQL接口数据，由于关系数据库一般会存在索引，所以即使使用mondrian去查询性能还是可以接受的，当前我们使用的oracle数据库，千万条级别的记录，查询可以在分钟级别完成，但是对于hive、
这样的数据源查询就太慢了，慢得不可以接受。
于是，我们开始尝试使用kylin，kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，而对于关系数据库中的数据分析进行预计算可能有点不合适了（关系数据库一般存在索引使得即使数据量很大查询也不会慢的离谱，除非SQL写的很烂）。在使用kylin的过程中，也逐渐对kylin有了一定的认识，首先看一下kylin的系统架构：
kylin系统架构
kylin由以下几部分组成：
· REST Server：提供一些restful接口，例如创建cube、构建cube、刷新cube、合并cube等cube的操作，project、table、cube等元数据管理、用户访问权限、系统配置动态修改等。除此之外还可以通过该接口实现SQL的查询，这些接口一方面可以通过第三方程序的调用，另一方也被kylin的web界面使用。
· jdbc/odbc接口：kylin提供了jdbc的驱动，驱动的classname为org.apache.kylin.jdbc.Driver，使用的url的前缀jdbc:kylin:，使用jdbc接口的查询走的流程和使用RESTFul接口查询走的内部流程是相同的。这类接口也使得kylin很好的兼容tebleau甚至mondrian。
· Query引擎：kylin使用一个开源的Calcite框架实现SQL的解析，相当于SQL引擎层。
· Routing：该模块负责将解析SQL生成的执行计划转换成cube缓存的查询，cube是通过预计算缓存在hbase中，这部分查询是可以再秒级甚至毫秒级完成，而还有一些操作使用过查询原始数据（存储在hadoop上通过hive上查询），这部分查询的延迟比较高。
· Metadata：kylin中有大量的元数据信息，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。
· Cube构建引擎：这个模块是所有模块的基础，它负责预计算创建cube，创建的过程是通过hive读取原始数据然后通过一些mapreduce计算生成Htable然后load到hbase中。
在kylin中，最关键的两个流程是cube的预计算过程和SQL查询转换成cube的过程，cube的构造可以分成cube的构建和cube的合并，首先需要创建一个cube的定义，包括设置cube名、cube的星状模型结构，dimension信息、measure信息、设置where条件、根据hive中事实表定义的partition设置增量cube，设置rowkey等信息，这些设置在mondrian中也是可以看到的，一个cube包含一些dimension和measure，where条件决定了源数据的大小，在mondrian中可以通过view实现。另外，kylin还提供了增量计算的功能，虽然达不到实时计算的需求，但是基本上可以满足数据分析的需求。
查询解析过程主要是使用Calcite框架将用户输入的SQL解析并转换成对hbase的key-value查询操作以获取结果，但是经过使用发现它对SQL的支持是比较差的，所有的SQL不能使用from A,B where xxx之类的join方式，必须使用inner（left、right） join on的方式，否则解析就会出错，这就会导致mondrian生成的SQL压根不能使用kylin查询（因为mondrian生成的SQL是前面一种方式的），另外还有一个局限性就是发现只能对cube相关的表和列进行查询，例如根据维度进行group
by查询定义的度量信息，而其他的查询也统统的返回错误，这点倒也不算是很大的问题，毕竟cube的模型已经定义，我们不太可能查询这个模型以外的东西。还有一点有点不能接受的是kylin对于子查询的支持很弱，测试发现查询的结果经常返回空（没有一行），而相同的查询在hive中是有结果的，这对于一些产品方需求支持不是很好，例如产品方可能需要查询年销售额大于xx的地区的每个月的销售总额。我们一般情况下会写出这样的sql：select month, sum(sales) from fact where location in
(select location from fact group by year having sum(sales) & 1000)前一段时间测试发现这种SQL对于关系数据库简直是灾难，因为in语句会导致后面的子查询没有缓存结果，而写成select month, sum(sales) from fact
as A inner join (select location from fact group by year having sum(sales) & 1000) as
B on A.location = B.loc可以提高性能，但是测试发现kylin返回的结果为空，而kylin对于in语句的查询时非常高效的（毕竟全部走缓存），那么我们就不得不首先执行子查询得到location集合，然后再写一个SQL使用where location in xxx（kylin对于使用in子句的查询支持还是相当棒的）的方式获得结果，这个应该是需要改进的地方吧。
前面介绍了cube在创建过程中需要的设置，这里看一些每一个设置的具体含义吧，首先我们会设置cube名和notification列表，前者需要保证是全局唯一的，后者是一些Email用于通知cube的一些事件的发生。接着我们需要定义一个星状模型，和一般的数据仓库模型一样，需要指定一个事实表和任意多个维度表，如果存在维度表还需要指定事实表和维度表的关联关系，也就是join方式。接下来是定义dimension，在定义dimension的时候可以选择dimension的类型，分为Normal、Hierachy以及Derived，这个后面再进行介绍，dimension的定义决定着cube的大小，也需要用户对原始的表非常了解。
接下来是定义measure，kylin会为每一个cube创建一个聚合函数为count(1)的度量，它不需要关联任何列，用户自定义的度量可以选择SUM、COUNT、DISTINCT COUNT、MIN、MAX，而每一个度量定义时还可以选择这些聚合函数的参数，可以选择常量或者事实表的某一列，一般情况下我们当然选择某一列。这里我们发现kylin并不提供AVG等相对较复杂的聚合函数（方差、平均差更没有了），主要是因为它需要基于缓存的cube做增量计算并且合并成新的cube，而这些复杂的聚合函数并不能简单的对两个值计算之后得到新的值，例如需要增量合并的两个cube中某一个key对应的sum值分别为A和B，那么合并之后的则为A+B,而如果此时的聚合函数是AVG，那么我们必须知道这个key的count和sum之后才能做聚合。这就要求使用者必须自己想办法自己计算了。
定义完measure之后需要设置where条件，这一步是对原始数据进行过滤，例如我们设定销售额小于XXX的地区不在于本次分析范围之内，那么就可以在where条件里设定location in xxx（子查询），那么生成的cube会过滤掉这些location，这一步其实相当于对无效数据的清洗，但是在kylin中这个是会固化的，不容易改变，例如我今天希望将销售额小于XX的地区清洗掉，明天可能有想将年消费小于xxx的用户去除，这就需要每次都创建一个相同的cube，区别仅仅在于where条件，他们之间会有很多的重复缓存数据，也会导致存储空间的浪费，但这也是MOLAP系统不可避免的，因此当过滤条件变化比较多的时候，更好的方案则是创建一个完整的cube（不设置任何where条件），使用子查询的方式过滤掉不希望要的一些维度成员。
接下来的一步是设置增量cube信息，首先需要选择事实表中的某一个时间类型的分区列（貌似只能是按照天进行分区），然后再指定本次构建的cube的时间范围（起始时间点和结束时间点），这一步的结果会作为原始数据查询的where条件，保证本次构建的cube只包含这个闭区间时间内的数据，如果事实表没有时间类型的分区别或者没有选择任何分区则表示数据不会动态更新，也就不可以增量的创建cube了。
最后一步设置rowkey，这一步的建议是看看就可以了，不要进行修改，除非对kylin内部实现有比较深的理解才能知道怎么去修改。当然这里有一个可以修改的是mandatory dimension，如果一个维度需要在每次查询的时候都出现，那么可以设置这个dimension为mandatory，可以省去很多存储空间，另外还可以对所有维度进行划分group，不会组合查询的dimension可以划分在不同的group中，这样也会降低存储空间。
Dimension介绍
在一个多维数据集合中，维度的个数决定着维度之间可能的组合数，而每一个维度中成员集合的大小决定着每一个可能的组合的个数，例如有三个普通的维度A、B、C，他们的不同成员数分别为10/100/1000，那么一个维度的组合有2的3次方个，分别是{空、A、B、C、AB、BC、AC、ABC}，每一个成员我们称为cuboid（维度的组合），而这些集合的成员组合个数分别为1、10、100、、100*0和10*100*1000。我们称每一个dimension中不同成员个数为cardinatily，我们要尽量避免存储cardinatily比较高的维度的组合，在上面的例子中我们可以不缓存BC和C这两个cuboid，可以通过计算的方式通过ABC中成员的值计算出BC或者C中某个成员组合的值，这相当于是时间和空间的一个权衡吧。
在kylin中存在的四种维度是为了减少cuboid的个数，而不是每一个维度是否缓存的，当前kylin是对所有的cuboid中的所有组合都进行计算和存储的，对于普通的dimension，从上面的例子中可以看出N个维度的cuboid个数为2的N次方，而kylin中设置了一些维度可以减少cuboid个数，当然，这需要使用者对自己需要的维度十分了解，知道自己可能根据什么进行group
好了，我们先来看一下kylin中的三种特殊的dimension以及它们的作用，这里参考：
1、Mandatory维度
这种维度意味着每次查询的group by中都会携带的，将某一个dimension设置为mandatory可以将cuboid的个数减少一半，如下图：
mandatory dimension
这是因为我们确定每一次group by都会携带A，那么就可以省去所有不包含A这个维度的cuboid了。
2、hierarchy维度
这种维度是最常见的，尤其是在mondrian中，我们对于多维数据的操作经常会有上卷下钻之类的操作，这也就需要要求维度之间有层级关系，例如国家、省、城市，年、季度、月等。有层级关系的维度也可以大大减少cuboid的个数。如下图：
hierarchy dimension
这里仅仅局限于A/B/C是一个层级，例如A是年份，B是季度、C是月份，那么查询的时候可能的组合只有年、xx年的季度、xx年xx季度的xx月，这就意味着我们不能再单独的对季度和月份进行聚合了，例如我们查询的时候不能使用group by month，而必须使用group by year，quart，month。如果需要单独的对month进行聚合，那么还需要再使用month列定义一个单独的普通维度。
3、derived维度
这类维度的意思是可推导的维度，需要该维度对应的一个或者多个列可以和维度表的主键是一对一的，这种维度可以大大减少cuboid个数，如下图：
derived dimension
例如timeid是时间这个维度表的主键，也就是事实表的外检，时间只精确到天，那么year、month、day三列可以唯一对应着一个time_id，而time_id是事实表的外键，那么我们可以指定year、month、day为一个derived维度，实际存储的时候可以只根据timeid的取值决定维度的组合，但这就要求我们在查询的时候使用的group
by必须指定derived维度集合中的所有列。
最后，简单介绍一下如何计算cuboid个数的，假设我们存在两个普通维度brand、product，存在一个hierarchy，包含四个维度分别为year、quart、month和day，一个derived维度，指定location信息，包含country、province和city列，这相当于一共9个维度，但是根据上面的分析我们并不需要512分cuboid。
第0层的cuboid（不包含任何维度，不包含group by），cuboid的个数为1，这个cuboid的成员个数也为1；
第1层的cuboid包含一个维度，一共有4种组合（分别为brand、product、year、location，因为quart是hierarchy的第二个层级，不能单独group by，而location的三列可以视为一个整体），成员个数则有每一个维度的cardinality；
第2层的cuboid有7种，分别为{brand、product}、{brand、year}、{brand、location}、{product、year}、{product、location}、{year、location}和{year、quart}；
第3层的cuboid有8种，分别为{brand、product、year}、{brand、product、location}、{product、year、location}、{brand、product、year}、{brand、year、quart}、{product、year、quart}、{location、year、quart}、{year、quart、month}；
第4层的cuboid有8种，分别为{brand、product、year、location}、{brand、product、year、quart}、{brand、location、year、quart}、{product、location、year、quart}、{brand、year、quart、month}、{product、year、quart、month}、{location、year、quart、month}、{year、quart、month、day}
第5层的cuboid有7种，分别为{brand、product、year、quart、location}、{brand、product、year、quart、momth}、{brand、location、year、quart、month}、{product、location、year、quart、month}、{brand、year、quart、month、day}、{product、year、quart、month、day}、{location、year、quart、month、day}
第6层的cuboid有5种，分别为{brand、product、year、quart、month、location}、{brand、product、year、quart、momth、day}、{brand、location、year、quart、month、day}、{product、location、year、quart、month、day}
第7层的cuboid有1中，为{brand、product、year、quart、month、day、location}
所以一共40个cuboid（kylin计算的是39个，应该没有把第0层的计算在内）。
由于kylin的核心在于预计算缓存数据，那么对于实时的数据查询的支持就不如mondrian好了，但是一般情况下我们数据分析并没有完全实时的要求，数据延迟几个小时甚至一天是可以接受的，kylin提供了增量cube的接口，kylin的实现是一个cube（这里是指逻辑上的cube）中可以包含多个segment，每一个segment对应着一个物理cube，在实际存储上对应着一个hbase的一个表，用户定义根据某一个字段进行增量（目前仅支持时间，并且这个字段必须是hive的一个分区字段），在使用的时候首先需要定义好cube的定义，可以指定一个时间的partition字段作为增量cube的依赖字段，其实这个选择是作为原始数据选择的条件，例如选择起始时间A到B的数据那么创建的cube则会只包含这个时间段的数据聚合值，创建完一个cube之后可以再次基于以前的cube进行build，每次build会生成一个新的segment，只不过原始数据不一样了（根据每次build指定的时间区间），每次查询的时候会查询所有的segment聚合之后的值进行返回，有点类似于tablet的存储方式，但是当segment存在过多的时候查询效率就会下降，因此需要在存在多个segment的时候将它们进行合并，合并的时候其实是指定了一个时间区间，内部会选择这个时间区间内的所有segment进行合并，合并完成之后使用新的segment替换被合并的多个segment，合并的执行时非常迅速的，数据不需要再从HDFS中获取，直接将两个hbase表中相同key的数据进行聚合就可以了。但是有一点需要注意的是当合并完成之后，被合并的几个segment所对应的hbase表并没有被删除。实际的使用过程中对于增量的cube可以写个定时任务每天凌晨进行build，当达到一个数目之后进行merge（其实每次build完成之后都进行merge也应该是可以的）。
cube的词典树
kylin的cube数据是作为key-value结构存储在hbase中的，key是每一个维度成员的组合值，不同的cuboid下面的key的结构是不一样的，例如cuboid={brand，product，year}下面的一个key可能是brand='Nike'，product='shoe'，year=2015，那么这个key就可以写成Nike:shoe:2015，但是如果使用这种方式的话会出现很多重复，所以一般情况下我们会把一个维度下的所有成员取出来，然后保存在一个数组里面，使用数组的下标组合成为一个key，这样可以大大节省key的存储空间，kylin也使用了相同的方法，只不过使用了字典树（Trie树），每一个维度的字典树作为cube的元数据以二进制的方式存储在hbase中，内存中也会一直保持一份。
以上介绍了kylin的整体框架以及部分的模块的流程，由于之前主要是关注cube的一些操作，例如创建、构建、合并等，对于查询这一块了解的较少，当然，这一块是kylin的核心之一。接下来会从源代码的角度去看kylin是如何构建和mergecube的，以及执行查询的流程。
版权声明：本文为博主原创文章，未经博主允许不得转载。
本页内容版权归属为原作者，如有侵犯您的权益，请通知我们删除。
以前也想了解到底有什么区别，但是搁着又忘记了，因为我们很少用唯一键约束。直到几天前同事给我个脚本来约束某个字段的唯一性，用的是唯一键约束，这问题又萦绕脑中了。看似有区别，又没发现什么大的区别！实际上也没多大区别，还是测试看看吧。 USE [DemoDB]GOCREATE TABLE [dbo].[TableUniqueKey](id int not null,name varchar(20) null)GOCREATE TABLE [dbo].[TableUniqueIndex](id int not n
1、查看MySQL日志 mysql show global variables like '%log%';+-----------------------------------------+-------------------------+| Variable_name | Value |+-----------------------------------------+-------------------------+| back_log | 80 || binlog_cache_size |
备份 导出数据库所有表结构 mysqldump -uroot -ppassword -d dbname db.sql 导出数据库某个表结构 mysqldump -uroot -ppassword -d dbname tablename db.sql 导出数据库所有表结构及数据 mysqldump -uroot -ppassword dbname db.sql 导出数据库某个表结构及数据 mysqldump -uroot -ppassword dbname tablename db.sql 导出部分数据 -
前言 译文是根据c3p0-0.9.5.1版本的官方文档，加上自己的理解，整理翻译而成。能力有限，译文内容如果有误或是理解有偏差，还请大家纠正！ 使用c3p0 从用户的角度看，c3p0只是简单的为用户提供符合jdbc标准的DataSource对象。当创建这些DataSource对象的时候，用户可以控制与其相关的各种属性。一旦DataSource创建完成，DataSource背后的东西对用户来讲，就是完全透明的。 三种方式获取c3p0带连接池的DataSource 1、直接实例化并配置一个Combopoole
--DG重启步骤 --1、关闭主库 SHUTDOWN IMMEDIATE; --2、关闭备库 ALTER DATABASE RECOVER MANAGED STANDBY DATABASE CANCEL; SHUTDOWN IMMEDIATE; --没有关监听，如果关掉了监听， 这里启动备库之后还要启动备库监听，再启主库 --3、启动备库 startup --4、启动主库 startup --5、备库启动应用 ALTER DATABASE RECOVER MANAGED STANDBY DATABASE d
oracel表分区基本上可以分成几类： - Range(范围)分区 - Hash(哈希)分区 - List(列表)分区 - 组合分区：Range-Hash, Range-List 。 1.Range(范围)分区 创建分区表 CREATE TABLE TABLE_PARTITION( COL1 NUMBER , COL2 VARCHAR2( 100 ) ) partition by range(COL1)( partition TAB_PARTOTION_01 values less than ( 4500
来源于： List of Well Known ODBC Drivers For Accessing An Oracle Database (文档 ID ) 适用于： Oracle ODBC Driver - Version 8.0.5.1 and later Information in this document applies to any platform. 目标： 本文列示了Oracle Database的知名的ODBC 驱动列表，这些驱动可以连接到Oracle Databas
大家知道，我们经常在linux或者windows需要用到mysql数据库，但是我们经常会犯一种特别低级的小错误，小编也时常会犯的错误，突然就忘记了mysql的root的密码，之后就会带来一系列的麻烦，下面小编告诉大家怎么在linux操作系统重置root的密码。 方法/步骤 第一步，检查操作系统是否安装有mysql数据库，在debian操作系统检查命令：dpkg --list |grep mysql 如下图： 先检查root用户密码是否已经忘记，输入命令：mysql -uroot -p 如下图： 悲剧了，数
在mysql中去重，其实是一个很简单的事情，来看下面的例子： mysql DROP TABLE Query OK, 0 rows affected (0.01 sec) mysql CREATE TABLE test
NAME VARCHAR(10)
); Query OK, 0 rows affected (0.01 sec) mysql INSERT INTO test VALUES(1,'a1'),(2,'a2
目标：连接MySQL查找数据放入新建Excel表 实现过程： 1.连接数据库 首先要去 MySQL官网 下载个ODBC数据源。 安装之后，即可在控制面板-管理工具-ODBC数据源-添加，中看到MySQL驱动名称： '连接数据库StrCnn="Provider=MSDASQL.1;Persist Security Info=TExtended Properties='Driver=MySQL ODBC 5.3 Unicode DSERVER=188.1.1.132;UID=P
Copyright (C)
ITfish.net你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下：
& MPP [1] 的基本思路是增加机器来并行计算，从而提高查询速度。比如扫描8亿记录一台机器要处理1小时，但如果用100台机器来并行处理，就只要一分钟不到。再配合列式存储和一些索引，查询可以更快返回。要注意这里在线运算量并没有减小，8亿条记录还是要扫描一次，只是参与的机器多了，所以快了。
& MOLAP Cube [2][3] 是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。8亿记录的一个3维索引可能只有几万条记录，规模大大缩小，所以在线计算量大大减小，查询可以很快。索引表也可以采用列存储，并行扫描等MPP常用的技术。但多维索引要对多维度的各种组合作预计算，离线建索引需要较大计算量和时间，最终索引也会占用较多磁盘空间。
除了有无预处理的差异外，SparkSQL与Kylin对数据集大小的偏好也不一样。如果数据可以基本放入内存，Spark的内存缓存会让SparkSQL有好的表现。但对于超大规模的数据集，Spark也不能避免频繁的磁盘读写，性能会大幅下降。反过来Kylin的Cube预处理会大幅减小在线数据规模，对于超大规模数据更有优势。
Kylin作为YARN资源管理器一部分可以在Apache Hadoop的最新版本上获得。可能会慢一点，但比内存选项或那些不需要MapReduce处理的更具扩展性
要回复问题请先或
浏览: 5339
关注: 4 人Kylin环境搭建和操作
时间： 18:27:52
&&&& 阅读：2983
&&&& 评论：
&&&& 收藏：0
标签：Kylin是一个开源的分布式的OLAP分析引擎，基于Hadoop提供SQL接口和OLAP接口，支持TB到PB级别的数据量。Kylin环境搭建前，需要安装JDK，MySQL，Tomcat，Hadoop，HBase，Hive，ZooKeeper等软件。由于我们使用Ambari对集群进行管理，所以这些工作已经做好，只简单介绍Kylin环境搭建。
一.&Kylin环境搭建
下载apache-kylin-1.5.1-bin.tar.gz并且解压，配置Tomcat和Kylin的环境变量。然后主要是配置kylin.properties，比如kylin.rest.servers等。最后kylin.sh start启动Kylin，kylin.sh stop关闭Kylin。登陆http://hostname:7070/kylin访问Kylin应用程序，用户名和密码分别为ADMIN，KYLIN。
说明：需要说明的是apache-kylin-1.5.1-bin.tar.gz中已经包含Tomcat。
Kylin的一些特性，如下所示：
超级快的 OLAP 引擎，具备可伸缩性
为 Hadoop 提供 ANSI-SQL 接口
交互式查询能力
MOLAP Cube
可与其它BI工具无缝集成，比如Tableau，而Microstrategy和Excel将很快推出
作业管理和监控
压缩和编码的支持
Cube 的增量更新
Leverage HBase Coprocessor for query latency
Approximate Query Capability for distinct Count (HyperLogLog)
易用的Web管理、构建、监控和查询Cube的接口
Security capability to set ACL at Cube/Project Level
支持LDAP集成
二.&Kylin Cube建立和Job监控
我们使用官方自带的例子sample.sh进行学习，如下所示：
1.运行${KYLIN_HOME}/bin/sample.sh，并重启Kylin。
在Hive默认数据库下面生成了三张表，分别为kylin_cal_dt，kylin_category_groupings，kylin_sales。
2.登陆http://hostname:7070/kylin，并选择工程"learn_kylin"。
3.点击Model页面中Actions选项中的Build。
说明：点击END DATE输入框选择增量构建这个cube的结束日期，并Submit提交请求。
4.点击Monitor页面
提交请求成功后，将会看到新建了job。点击job详情按钮查看显示于右侧的详细信息。如下所示：
说明：job详细信息为跟踪一个job提供了它的每一步记录。可以将光标停放在一个步骤状态图标上查看基本状态和信息。点击每个步骤显示的图标按钮查看详情：Parameters、Log、MRJob、EagleMonitoring。
5.点击Insight页面中的New Query选项
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
三. Kylin&Cube权限授予
点击+Grant按钮进行授权。一个cube有四种不同的权限，分别是CUBE QUERY，CUBE OPERATION，CUBE MANAGEMENT，CUBE ADMIN。授权对象也有两种：User和Role。Role是指一组拥有同样权限的用户。
1. 授予用户权限
选择User类型，输入你想要授权的用户的用户名并选择相应的权限。选择User类型，输入你想要授权的用户的用户名并选择相应的权限。然后点击Grant按钮提交请求。在这一操作成功后，便会在表中看到一个新的表项。可以选择不同的访问权限来修改用户权限。点击Revoke按钮可以删除一个拥有权限的用户。
2. 授予角色权限
选择Role类型，通过点击下拉按钮选择你想要授权的一组用户并选择一个权限。然后点击Grant按钮提交请求。在这一操作成功后，便会在表中看到一个新的表项。可以选择不同的访问权限来修改组权限。点击Revoke按钮可以删除一个拥有权限的组。
四. Kylin工作原理
Kylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求。Apache Kylin概览，如下所示：
REST Server：提供一些RESTFul接口，例如创建Cube、构建Cube、刷新Cube、合并Cube等Cube的操作，Project、Table、Cube等元数据管理、用户访问权限、系统配置动态修改等。除此之外还可以通过该接口实现SQL的查询，这些接口一方面可以通过第三方程序的调用，另一方也被Kylin的Web界面使用。
JDBC/ODBC接口：Kylin提供了JDBC的驱动，驱动的CLASSNAME为org.apache.kylin.jdbc.Driver，使用URL的前缀jdbc:kylin:，使用JDBC接口的查询走的流程和使用RESTFul接口查询走的内部流程是相同的。这类接口也使得Kylin很好的兼容Tebleau甚至Mondrian。
Query引擎：Kylin使用一个开源的Calcite框架实现SQL的解析，相当于SQL引擎层。
Routing：该模块负责将解析SQL生成的执行计划转换成Cube缓存的查询，Cube是通过预计算缓存在HBase中，这部分查询是可以在秒级甚至毫秒级完成，而还有一些操作使用过查询原始数据（存储在Hadoop上通过Hive上查询），这部分查询的延迟比较高。
Metadata：Kylin中有大量的元数据信息，包括Cube的定义，星状模型的定义、Job的信息、Job的输出信息、维度的Directory信息等等，元数据和Cube都存储在HBase中，存储的格式是JSON字符串，除此之外，还可以选择将元数据存储在本地文件系统。
Cube构建引擎：这个模块是所有模块的基础，它负责预计算创建Cube，创建的过程是通过Hive读取原始数据，然后通过一些MapReduce计算生成HTable然后加载到HBase中。
参考文献：
[1]&APACHE KYLIN概览：
[2]&分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例：
[3]&Apache Kylin的快速数据立方体算法：
[4]&面向大数据的终极OLAP引擎方案：
[5]&Kylin的OLAP引擎：
[6]&Apache Kylin大数据时代的OLAP利器：
[7]&Kylin的Cube模型：标签：
&&国之画&&&& &&&&chrome插件
版权所有 京ICP备号-2
迷上了代码！}