行业知识
学习clickhouse 集群搭建和分布式存储
为什么要用集群
使���集群的主要原因是为了提高系统的可扩展性、可用性和容错性。
- 可扩展性:当单个节点无法处理增加的负载时,可以通过添加更多的节点到集群来增加处理能力。这使得系统可以处理更大的数据量和更高的查询负载。
- 可用性:在集群中,如果一个节点出现故障,其他节点可以接管它的工作,从而保证系统的持续运行。这对于需要24/7运行的系统来说非常重要。
- 容错性:集群可以通过数据复制和故障转移来提高系统的容错性。如果一个节点出现故障,系统可以从其他节点获取数据,从而避免数据丢失。
为什么要分布式存储
使用分布式存储的主要原因有以下几点:
- 可扩展性:分布式存储系统可以通过添加更多的节点来扩展存储容量和处理能力,这使得它们可以处理大规模的数据。
- 高可用性:在分布式存储系统中,数据通常会在多个节点上进行复制,这意味着如果一个节点出现故障,其他节点可以提供数据,从而保证系统的可用性。
- 容错性:分布式存储系统通过数据复制和故障转移来提高系统的容错性。如果一个节点出现故障,系统可以从其他节点获取数据,从而避免数据丢失。
- 性能:分布式存储系统可以通过在多个节点上并行处理数据来提高性能。
那么今天我们今天用docker的形式搭建一个clickhouse集群来提供我们学习用。
dockerfile
docker-compose.yml
version: "3.7" services: ck1: image: yandex/clickhouse-server ulimits: nofile: soft: 300001 hard: 300002 ports: - 9001:9000 volumes: - ./conf/config.xml:/etc/clickhouse-server/config.xml - ./conf/users.xml:/etc/clickhouse-server/users.xml - ./conf/metrika1.xml:/etc/metrika.xml links: - "zk1" depends_on: - zk1 ck2: image: yandex/clickhouse-server ulimits: nofile: soft: 300001 hard: 300002 volumes: - ./conf/metrika2.xml:/etc/metrika.xml - ./conf/config.xml:/etc/clickhouse-server/config.xml - ./conf/users.xml:/etc/clickhouse-server/users.xml ports: - 9002:9000 depends_on: - zk1 ck3: image: yandex/clickhouse-server ulimits: nofile: soft: 300001 hard: 300002 volumes: - ./conf/metrika3.xml:/etc/metrika.xml - ./conf/config.xml:/etc/clickhouse-server/config.xml - ./conf/users.xml:/etc/clickhouse-server/users.xml ports: - 9003:9000 depends_on: - zk1 zk1: image: zookeeper:3.5 restart: always hostname: zk1 expose: - "2181" ports: - 2181:2181
注意:这里clickhouse的版本要和zookeeper的版本相互匹配上,不然后续就会有兼容性的问题。我的clickhouse的版本是22.1.3 所以我的zookeeper 的版本是3.5
配置
- user.xml
10000000000 random 1 0 1 1 ::/0 default default default default default test_dictionaries replicaTest_all 3600 0 0 0 0 0
- config.xml
trace /var/log/clickhouse-server/clickhouse-server.log /var/log/clickhouse-server/clickhouse-server.err.log 1000M 10 8123 9000 9004 9005 9009 4096 3 false /path/to/ssl_cert_file /path/to/ssl_key_file false /path/to/ssl_ca_cert_file deflate medium -1 -1 false /etc/clickhouse-server/server.crt /etc/clickhouse-server/server.key /etc/clickhouse-server/dhparam.pem none true true sslv2,sslv3 true true true sslv2,sslv3 true RejectCertificateHandler 100 0 10000 0.9 4194304 0 8589934592 5368709120 1000 134217728 10000 /var/lib/clickhouse/ /var/lib/clickhouse/tmp/ /var/lib/clickhouse/user_files/ users.xml /var/lib/clickhouse/access/ default default true false localhost 9000 localhost 1 3600 3600 60 system
- metrika.xml
这里我们3个metrika.xml都是一样的
true ck1 9000 true ck2 9000 true ck3 9000 zk1 2181
我们将配置文件在conf文件夹里面创建好以后执行docker-compose up -d 就可以启动我们的集群了。
创建表
通过docker-compose ps 查看端口号
通过clickhouse-client --port 9001 连接数据库
创建数据表
分表在3台节点啥
CREATE TABLE access_logs( `create_time` DateTime, `status` String, `runtime` String, `client_ip` String, `method` String, `url` String, `body` String, `response` String, `hander` String, `request_id` String)ENGINE = ReplacingMergeTreePARTITION BY toYYYYMM(create_time)PRIMARY KEY request_idORDER BY (request_id, create_time)TTL create_time + toIntervalHour(48)
找一台节点执行一下sql
CREATE TABLE access_logs_all ENGINE = Distributed(test_cluster, big_data_all, access_logs, rand());
第二条sql的意思,我们通过on cluster在每个节点上创建了一个分布式的表,该表指向了我们已经有的表access_logs。
test_cluster : 集群的名称
big_data_all: 远程数据库的名称
access_logs: 远程数据表的名称
rand(): 分片的逻辑,我们这里使用的是随机分配,还有hivehash 等。
Distributed Engine
ClickHouse 的 Distributed 引擎并不存储数据,而是允许在物理上分布在多个节点上的表之间进行查询。当一个查询被发送到 Distributed 表时,它将查询分发到所有的本地表,然后汇总结果。
-
当一个查询被发送到 Distributed 表时,ClickHouse 首先将查询分解为两部分:一个主查询和一个子查询。
-
子查询被发送到集群中的每个节点。每个节点在其本地表上执行子查询,并返回结果。
-
主查询在 Distributed 表所在的节点上执行。它从所有的子查询中收集结果,然后汇总这些结果。
-
如果查询包含聚合函数,如 SUM() 或 COUNT(),那么 ClickHouse 将在每个节点上进行部分聚合,然后在 Distributed 表所在的节点上进行最终聚合。
-
如果查询包含 ORDER BY 子句,那么排序将在每个节点上进行,然后在 Distributed 表所在的节点上进行最终排序。
通过这种方式,Distributed 引擎可以在多个节点上并行执行查询,从而提高查询性能。同时,由于数据是在多个节点上存储的,因此可以提供更大的存储容量。
在 ClickHouse 中,你可以直接向 Distributed 表插入数据。当你向 Distributed 表插入数据时,ClickHouse 会根据分片键将数据分发到相应的分片上。
上一篇:主机的网卡怎么更换电脑驱动
下一篇:门禁服务器怎么分配ip?