Hive索引

Hive索引
Hive索引能够优化查询速度。

Hive原始索引
需要手动重建索引，不推荐，在hive3.0中已经被废弃。

开启方式

set hive.optimize.index.filter=true

Row Group Index(行组索引)

作用
作用于 数值 类型的>=< 条件查询。

开启方式

hive.optimize.index.filter

创建表时开启索引

CREATE TABLE lxw1234_orc2 
(id int, pcid int)
stored AS ORC
TBLPROPERTIES
(
    'orc.compress'='SNAPPY',
--      开启行组索引，默认开启
    'orc.create.index'='true'
)

插入数据时，按照索引字段排序

insert into lxw1234_orc2 
SELECT CAST(siteid AS INT) AS id, pcid
FROM lxw1234_text
--      插入的数据保持排序
cluster by id;
--  DISTRIBUTE BY id sort BY id;
使用索引查询：

set hive.optimize.index.filter=true;
SELECT COUNT(1) FROM lxw1234_orc1 
-- 对数值类型字段进行条件查询
WHERE id >= 1382 AND id <= 1399;
Bloom Filter Index(布隆索引)

作用
作用于任意 类型的 = 条件查询。

开启方式
创建表时，指定索引字段。

CREATE TABLE lxw1234_orc2 stored AS ORC
TBLPROPERTIES
(
    'orc.compress'='SNAPPY',
    'orc.create.index'='true',
--      pcid字段开启BloomFilter索引
    'orc.bloom.filter.columns'='pcid'
--     pcid可以有多个索引 例：'pcid,id'
)
AS
SELECT CAST(siteid AS INT) AS id,
pcid
FROM lxw1234_text
DISTRIBUTE BY id sort BY id;

使用索引查询：

SET hive.optimize.index.filter=true;
SELECT COUNT(1) FROM lxw1234_orc1 WHERE id >= 0 AND id <= 1000
-- 使用等值条件查询
AND pcid IN ('0005E26F0DCCDB56F9041C','A');