clickhouse离线安装_数仓ClickHouse的快速入门

关注上方“数据挖掘工程师”&＃xff0c;选择星标&＃xff0c;

关键时间&＃xff0c;第一时间送达&＃xff01;

ClickHouse简介

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。ClickHouse最初是一款名为Yandex.Metrica的产品&＃xff0c;主要用于WEB流量分析。ClickHouse的全称是Click Stream,Data WareHouse&＃xff0c;简称ClickHouse。

ClickHouse非常适用于商业智能领域&＃xff0c;除此之外&＃xff0c;它也能够被广泛应用于广告流量、Web、App流量、电信、金融、电子商务、信息安全、网络游戏、物联网等众多其他领域。ClickHouse具有以下特点&＃xff1a;

• 支持完备的SQL操作

• 列式存储与数据压缩

• 向量化执行引擎

• 关系型模型(与传统数据库类似)

• 丰富的表引擎

• 并行处理

• 在线查询

• 数据分片

  ClickHouse作为一款高性能OLAP数据库&＃xff0c;存在以下不足。

• 不支持事务。

• 不擅长根据主键按行粒度进行查询(虽然支持)&＃xff0c;故不应该把ClickHouse当作Key-Value数据库使用。

• 不擅长按行删除数据(虽然支持)

单机安装

下载RPM包

本文安装方式选择的是离线安装&＃xff0c;可以在下面的链接中下载对应的rpm包&＃xff0c;也可以直接百度云下载

-- rpm包地址
https://packagecloud.io/Altinity/clickhouse
-- 百度云地址
链接&＃xff1a;https://pan.baidu.com/s/1pFR66SzLvPYMfcpuPJww5A
提取码&＃xff1a;gh5a


在我们安装的软件中包含这些包:

• clickhouse-client 包&＃xff0c;包含 clickhouse-client 应用程序&＃xff0c;它是交互式ClickHouse控制台客户端。
• clickhouse-common 包&＃xff0c;包含一个ClickHouse可执行文件。
• clickhouse-server 包&＃xff0c;包含要作为服务端运行的ClickHouse配置文件。

总共包含四个RPM包&＃xff0c;

clickhouse-client-19.17.4.11-1.el7.x86_64.rpm
clickhouse-common-static-19.17.4.11-1.el7.x86_64.rpm
clickhouse-server-19.17.4.11-1.el7.x86_64.rpm
clickhouse-server-common-19.17.4.11-1.el7.x86_64.rpm


尖叫提示&＃xff1a;如果安装过程中&＃xff0c;报错&＃xff1a;依赖检测失败&＃xff0c;表示缺少依赖包

可以先手动安装libicu-50.2-4.el7_7.x86_64.rpm依赖包

关闭防火墙

## 查看防火墙状态。
systemctl status firewalld
## 临时关闭防火墙命令。重启电脑后&＃xff0c;防火墙自动起来。
systemctl stop firewalld
## 永久关闭防火墙命令。重启后&＃xff0c;防火墙不会自动启动。
systemctl disable firewalld


系统要求

ClickHouse可以在任何具有x86_64&＃xff0c;AArch64或PowerPC64LE CPU架构的Linux&＃xff0c;FreeBSD或Mac OS X上运行。虽然预构建的二进制文件通常是为x86  _64编译并利用SSE 4.2指令集&＃xff0c;但除非另有说明&＃xff0c;否则使用支持它的CPU将成为额外的系统要求。这是检查当前CPU是否支持SSE 4.2的命令&＃xff1a;

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
SSE 4.2 supported


要在不支持SSE 4.2或具有AArch64或PowerPC64LE体系结构的处理器上运行ClickHouse&＃xff0c;应该通过源构建ClickHouse进行适当的配置调整。

安装RPM包

## 将rpm包上传至/opt/software目录下
## 执行如下命令进行安装
[root&＃64;cdh06 software]# rpm -ivh *.rpm
错误&＃xff1a;依赖检测失败&＃xff1a;
        libicudata.so.50()(64bit) 被 clickhouse-common-static-19.17.4.11-1.el7.x86_64 需要
        libicui18n.so.50()(64bit) 被 clickhouse-common-static-19.17.4.11-1.el7.x86_64 需要
        libicuuc.so.50()(64bit) 被 clickhouse-common-static-19.17.4.11-1.el7.x86_64 需要
        libicudata.so.50()(64bit) 被 clickhouse-server-19.17.4.11-1.el7.x86_64 需要
        libicui18n.so.50()(64bit) 被 clickhouse-server-19.17.4.11-1.el7.x86_64 需要
        libicuuc.so.50()(64bit) 被 clickhouse-server-19.17.4.11-1.el7.x86_64 需要
## 上面安装报错&＃xff0c;缺少相应的依赖包&＃xff0c;
## 需要下载相对应的依赖包
## 下载libicu-50.2-4.el7_7.x86_64.rpm进行安装即可



查看安装信息

目录结构

• /etc/clickhouse-server&＃xff1a;服务端的配置文件目录&＃xff0c;包括全局配置config.xml和用户配置users.xml等。

• /etc/clickhouse-client&＃xff1a;客户端配置&＃xff0c;包括conf.d文件夹和config.xml文件。

• /var/lib/clickhouse&＃xff1a;默认的数据存储目录(通常会修改默认路径配置&＃xff0c;将数据保存到大容量磁盘挂载的路径)。

• /var/log/clickhouse-server&＃xff1a;默认保存日志的目录(通常会修改路径配置&＃xff0c;将日志保存到大容量磁盘挂载的路径)。

配置文件

• /etc/security/limits.d/clickhouse.conf&＃xff1a;文件句柄数量的配置

[root&＃64;cdh06 clickhouse-server]# cat /etc/security/limits.d/clickhouse.conf 
clickhouse      soft    nofile  262144
clickhouse      hard    nofile  262144


该配置也可以通过config.xml的max_open_files修改

• /etc/cron.d/clickhouse-server:cron&＃xff1a;定时任务配置&＃xff0c;用于恢复因异常原因中断的ClickHouse服务进程&＃xff0c;其默认的配置如下。

[root&＃64;cdh06 cron.d]# cat /etc/cron.d/clickhouse-server
#*/10 * * * * root (which service > /dev/null 2>&1 && (service clickhouse-server condstart ||:)) || /etc/init.d/clickhouse-server condstart > /dev/null 2>&1


可执行文件

最后是一组在/usr/bin路径下的可执行文件&＃xff1a;

• clickhouse&＃xff1a;主程序的可执行文件。

• clickhouse-client&＃xff1a;一个指向ClickHouse可执行文件的软链接&＃xff0c;供客户端连接使用。

• clickhouse-server&＃xff1a;一个指向ClickHouse可执行文件的软链接&＃xff0c;供服务端启动使用。

• clickhouse-compressor&＃xff1a;内置提供的压缩工具&＃xff0c;可用于数据的正压反解。

启动/关闭服务

## 启动服务
[root&＃64;cdh06 ~]# service clickhouse-server start
Start clickhouse-server service: Path to data directory in /etc/clickhouse-server/config.xml: /var/lib/clickhouse/
DONE
## 关闭服务
[root&＃64;cdh06 ~]# service clickhouse-server stop


客户端连接

[root&＃64;cdh06 ~]# clickhouse-client 
ClickHouse client version 19.17.4.11.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 19.17.4 revision 54428.

cdh06 :) show databases;

SHOW DATABASES

┌─name────┐
│ default │
│ system  │
└─────────┘

2 rows in set. Elapsed: 0.004 sec. 


基本操作

创建数据库

• 语法

CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE &＃61; engine(...)]


• 例子

CREATE DATABASE IF NOT EXISTS tutorial


默认情况下&＃xff0c;ClickHouse使用的是原生的数据库引擎Ordinary(在此数据库下可以使用任意类型的表引擎&＃xff0c;在绝大多数情况下都只需使用默认的数据库引擎)。当然也可以使用Lazy引擎和MySQL引擎&＃xff0c;比如使用MySQL引擎&＃xff0c;可以直接在ClickHouse中操作MySQL对应数据库中的表。假设MySQL中存在一个名为clickhouse的数据库&＃xff0c;可以使用下面的方式连接MySQL数据库。

-- --------------------------语法-----------------------------------
CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
ENGINE &＃61; MySQL(&＃39;host:port&＃39;, [&＃39;database&＃39; | database], &＃39;user&＃39;, &＃39;password&＃39;)
-- --------------------------示例------------------------------------
CREATE DATABASE mysql_db ENGINE &＃61; MySQL(&＃39;192.168.200.241:3306&＃39;, &＃39;clickhouse&＃39;, &＃39;root&＃39;, &＃39;123qwe&＃39;);
-- ---------------------------操作-----------------------------------
cdh06 :) use mysql_db;
cdh06 :) show tables;

SHOW TABLES

┌─name─┐
│ test │
└──────┘

1 rows in set. Elapsed: 0.005 sec. 

cdh06 :) select * from test;

SELECT *
FROM test

┌─id─┬─name──┐
│  1 │ tom   │
│  2 │ jack  │
│  3 │ lihua │
└────┴───────┘

3 rows in set. Elapsed: 0.047 sec. 


创建表

• 语法

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
    ...
) ENGINE &＃61; engine


• 示例

-- 注意首字母大写
-- 建表
create table test(
    id Int32,
    name String
) engine&＃61;Memory;


上面命令创建了一张内存表&＃xff0c;即使用Memory引擎。表引擎决定了数据表的特性&＃xff0c;也决定了数据将会被如何存储及加载。Memory引擎是ClickHouse最简单的表引擎&＃xff0c;数据只会被保存在内存中&＃xff0c;在服务重启时数据会丢失。

集群安装

安装步骤

上面介绍了单机安装的基本步骤和ClickHouse客户端的基本使用。接下来将介绍集群的安装方式。ClickHouse集群安装非常简单&＃xff0c;首先重复上面步骤&＃xff0c;分别在其他机器上安装ClickHouse&＃xff0c;然后再分别配置一下/etc/clickhouse-server/config.xml和/etc/metrika.xml两个文件即可。值得注意的是&＃xff0c;ClickHouse集群的依赖于Zookeeper&＃xff0c;所以要保证先安装好Zookeeper集群&＃xff0c;zk集群的安装步骤非常简单&＃xff0c;本文不会涉及。本文演示三个节点的ClickHouse集群安装&＃xff0c;具体步骤如下&＃xff1a;

• 首先&＃xff0c;重复单机安装的步骤&＃xff0c;分别在另外两台机器安装ClickHouse

• 然后&＃xff0c;在每台机器上修改**/etc/clickhouse-server/config.xml**文件

  
0.0.0.0listen_host>



  尖叫提示(1)&＃xff1a;

  在禁用了ipv6时&＃xff0c;如果使用::配置&＃xff0c;会报如下错误

  Application: DB::Exception: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() &＃61;0, e.displayText() &＃61; DNS error: EAI: -9

  尖叫提示(2)&＃xff1a;

  ClickHouse默认的tcp端口号是9000&＃xff0c;如果存在端口冲突&＃xff0c;可以在**/etc/clickhouse-server/config.xml**文件中修改 端口号9001

• 最后在/etc下创建metrika.xml文件&＃xff0c;内容如下&＃xff0c;下面配置是不包含副本的分片配置&＃xff0c;我们还可以为分片配置多个副本

  
    

    
    
        
        
            
                cdh04host>
                9001port>
            replica>
        shard>
        
            
                cdh05host>
                9001port>
            replica>
        shard>
        
            
                cdh06host>
                9001port>
            replica>
        shard>
    cluster_3shards_1replicas>
clickhouse_remote_servers>
 

    
        cdh02host>
        2181port>
    node>
    
        cdh03host>
        2181port>
    node>
    
        cdh06host>
        2181port>
    node>
zookeeper-servers>


    01shard>
    cdh04replica>
macros>    
yandex>


• 分别在各自的机器上启动clickhouse-server

  # service clickhouse-server start


• (可选配置)修改**/etc/clickhouse-client/config.xml**文件

  由于clickhouse-client默认连接的主机是localhost&＃xff0c;默认连接的端口号是9000&＃xff0c;由于我们修改了默认的端口号&＃xff0c;所以需要修改客户端默认连接的端口号&＃xff0c;在该文件里添加如下内容&＃xff1a;

   9001port>


  当然也可以不用修改&＃xff0c;但是记得在使用客户端连接时&＃xff0c;加上**--port 9001**参数指明要连接的端口号&＃xff0c;否则会报错&＃xff1a;

  Connecting to localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)


基本操作

验证集群

在完成上述配置之后&＃xff0c;在各自机器上启动clickhouse-server&＃xff0c;并开启clickhouse-clent

// 启动server
# service clickhouse-server start
// 启动客户端&＃xff0c;-m参数支持多行输入
# clickhouse-client -m


可以查询系统表验证集群配置是否已被加载&＃xff1a;

cdh04 :) select cluster,shard_num,replica_num,host_name,port,user from system.clusters;


接下来再来看一下集群的分片信息(宏变量)&＃xff1a;分别在各自机器上执行下面命令&＃xff1a;

cdh04 :) select * from system.macros;
┌─macro───┬─substitution─┐
│ replica │ cdh04        │
│ shard   │ 01           │
└─────────┴──────────────┘

cdh05 :) select * from system.macros;
┌─macro───┬─substitution─┐
│ replica │ cdh05        │
│ shard   │ 02           │
└─────────┴──────────────┘

cdh06 :) select * from system.macros;
┌─macro───┬─substitution─┐
│ replica │ cdh06        │
│ shard   │ 03           │
└─────────┴──────────────┘


分布式DDL操作

默认情况下&＃xff0c;CREATE、DROP、ALTER、RENAME操作仅仅在当前执行该命令的server上生效。在集群环境下&＃xff0c;可以使用ON CLUSTER语句&＃xff0c;这样就可以在整个集群发挥作用。

比如创建一张分布式表&＃xff1a;

CREATE TABLE IF NOT EXISTS user_cluster ON CLUSTER cluster_3shards_1replicas
(
    id Int32,
    name String
)ENGINE &＃61; Distributed(cluster_3shards_1replicas, default, user_local,id);


Distributed表引擎的定义形式如下所示&＃xff1a;关于ClickHouse的表引擎&＃xff0c;后续文章会做详细解释。

Distributed(cluster_name, database_name, table_name[, sharding_key])


各个参数的含义分别如下&＃xff1a;

• cluster_name&＃xff1a;集群名称&＃xff0c;与集群配置中的自定义名称相对应。
• database_name&＃xff1a;数据库名称
• table_name&＃xff1a;表名称
• sharding_key&＃xff1a;可选的&＃xff0c;用于分片的key值&＃xff0c;在数据写入的过程中&＃xff0c;分布式表会依据分片key的规则&＃xff0c;将数据分布到各个节点的本地表。

尖叫提示&＃xff1a;

创建分布式表是读时检查的机制&＃xff0c;也就是说对创建分布式表和本地表的顺序并没有强制要求。

同样值得注意的是&＃xff0c;在上面的语句中使用了ON CLUSTER分布式DDL&＃xff0c;这意味着在集群的每个分片节点上&＃xff0c;都会创建一张Distributed表&＃xff0c;这样便可以从其中任意一端发起对所有分片的读、写请求。

创建完成上面的分布式表时&＃xff0c;在每台机器上查看表&＃xff0c;发现每台机器上都存在一张刚刚创建好的表。

接下来就需要创建本地表了&＃xff0c;在每台机器上分别创建一张本地表&＃xff1a;

CREATE TABLE IF NOT EXISTS user_local 
(
    id Int32,
    name String
)ENGINE &＃61; MergeTree()
ORDER BY id
PARTITION BY id
PRIMARY KEY id;


我们先在一台机器上&＃xff0c;对user_local表进行插入数据&＃xff0c;然后再查询user_cluster表

-- 插入数据
cdh04 :) INSERT INTO user_local VALUES(1,&＃39;tom&＃39;),(2,&＃39;jack&＃39;);
-- 查询user_cluster表,可见通过user_cluster表可以操作所有的user_local表
cdh04 :) select * from user_cluster;
┌─id─┬─name─┐
│  2 │ jack │
└────┴──────┘
┌─id─┬─name─┐
│  1 │ tom  │
└────┴──────┘


接下来&＃xff0c;我们再向user_cluster中插入一些数据&＃xff0c;观察user_local表数据变化&＃xff0c;可以发现数据被分散存储到了其他节点上了。

-- 向user_cluster插入数据
cdh04 :)  INSERT INTO user_cluster VALUES(3,&＃39;lilei&＃39;),(4,&＃39;lihua&＃39;); 
-- 查看user_cluster数据
cdh04 :) select * from user_cluster;
┌─id─┬─name─┐
│  2 │ jack │
└────┴──────┘
┌─id─┬─name──┐
│  3 │ lilei │
└────┴───────┘
┌─id─┬─name─┐
│  1 │ tom  │
└────┴──────┘
┌─id─┬─name──┐
│  4 │ lihua │
└────┴───────┘

-- 在cdh04上查看user_local
cdh04 :) select * from user_local;
┌─id─┬─name─┐
│  2 │ jack │
└────┴──────┘
┌─id─┬─name──┐
│  3 │ lilei │
└────┴───────┘
┌─id─┬─name─┐
│  1 │ tom  │
└────┴──────┘
-- 在cdh05上查看user_local
cdh05 :) select * from user_local;
┌─id─┬─name──┐
│  4 │ lihua │
└────┴───────┘


总结

本文首先介绍了ClickHouse的基本特点和使用场景&＃xff0c;接着阐述了ClickHouse单机版与集群版离线安装步骤&＃xff0c;并给出了ClickHouse的简单使用案例。本文是ClickHouse的一个简单入门&＃xff0c;在接下来的分享中&＃xff0c;会逐步深入探索ClickHouse的世界。

Java极客们都在关注「JavaGeek」&＃xff0c;专注分享Java技术干货&＃xff0c;包括多线程、JVM、Spring Boot、Spring Cloud、Intellij IDEA、Dubbo、Zookeeper、Redis、架构设计、微服务等。关注并回复「Java学习」获得 1024G Java学习资料推荐阅读

40000字笔记&＃xff01;HiveSQL再不懂来找我&＃xff01;