ClickHouse是一个列导向数据库,是原生的向量化执行引擎。它在大数据领域没有走Hadoop生态,而是采用Local attached storage作为存储,这样整个IO可能就没有Hadoop那一套的局限。它的系统在生产环境中可以应用到比较大的规模,因为它的线性扩展能力和可靠性保障能够原生支持shard+replication这种解决方案。它还提供了一些SQL直接接口,有比较丰富的原生client。
ClickHouse数据库的特点:
要注意,由于ClickHouse的快速查询还是基于系统资源的,因此在使用的时候要注意每个节点上的存储量,以及节点机器的系统资源要充足。因为查询时是使用内存进行聚合,所以同时并发查询的数量不能太多,否则就会造成资源崩溃。
- # 修改机器的hostname
- vi /etc/hostname
- # 配置hosts
- vi /etc/hosts
- 192.168.143.20 node1
- 192.168.143.21 node2
- 192.168.143.22 node3
修改完后,执行hostname node1...3,不用重启机器使其生效
主要下载四个文件:
- rpm -ivh *.rpm
- # 我这里选择node1
- docker run -d --net host --name zookeeper zookeeper
修改/etc/clickhouse-server/config.xml
- <!-- 将下面行注释去掉 -->
- <listen_host>::</listen_host>
- <!-- 修改默认数据存储目录,比如在/home下创建目录clickhouse -->
- <path>/var/lib/clickhouse/</path>
- <!-- 修改为如下 -->
- <path>/home/clickhouse/</path>
修改/etc/clickhouse-server/users.xml
- <!-- 配置查询使用的内存,根据机器资源进行配置 -->
- <max_memory_usage>5000000000000</max_memory_usage>
- <!-- 在</users>前面增加用户配置 -->
- <root>
- <!-- 通过Linux命令计算出密码的sha256加密值 -->
- <password_sha256_hex>xxxx...xxxx</password_sha256_hex>
- <networks>
- <ip>::/0</ip>
- </networks>
- <profile>default</profile>
- <quota>default</quota>
- </root>
增加配置文件/etc/metrika.xml
- <yandex>
- <!-- ck集群节点 -->
- <clickhouse_remote_servers>
- <test_cluster>
- <shard>
- <internal_replication>true</internal_replication>
- <replica>
- <host>node1</host>
- <port>9000</port>
- <user>root</user>
- <password>123456</password>
- </replica>
- </shard>
- <shard>
- <internal_replication>true</internal_replication>
- <replica>
- <host>node2</host>
- <port>9000</port>
- <user>root</user>
- <password>123456</password>
- </replica>
- </shard>
- <shard>
- <internal_replication>true</internal_replication>
- <replica>
- <host>node3</host>
- <port>9000</port>
- <user>root</user>
- <password>123456</password>
- </replica>
- </shard>
- </test_cluster>
- <!-- zookeeper相关配置-->
- <zookeeper-servers>
- <node index="1">
- <host>node1</host>
- <port>2181</port>
- </node>
- </zookeeper-servers>
- <networks>
- <ip>::/0</ip>
- </networks>
- <macros>
- <replica>node1</replica>
- </macros>
- <!-- 压缩相关配置 -->
- <clickhouse_compression>
- <case>
- <min_part_size>10000000000</min_part_size>
- <min_part_size_ratio>0.01</min_part_size_ratio>
- <method>lz4</method>
- </case>
- </clickhouse_compression>
- </clickhouse_remote_servers>
- </yandex>
重启clickhouse服务
- service clickhouse-server restart
- # 如果不成功,则使用以下命令
- nohup /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml $
使用可视化工具连接每个节点,在上面创建MergeTree
- create database test;
- create table test.data
- (
- country String,
- province String,
- value String
- )
- engine=MergeTree()
- partition by (country, province)
- order by value;
- create table test.mo as test.data ENGINE = Distributed(test_cluster, test, data, rand());
安装clickhouse-driver
- pip install clickhouse-driver
执行命令
- from clickhouse_driver import Client
- # 在哪个节点创建了分布式表,就连接哪个节点
- client = Client('192.168.143.20', user='root', password='123456', database='test')
- print(client.execute('select count(*) from mo'))
本文转载自微信公众号「小林coding」,作者木叶潇潇。转载本文请联系小林coding...
《算法竞赛》预计年底印出来这是目录。 有没有需要改进的 请大家提意见 。 ?? ??...
python 批量处理nc文件-字符串拼接文件有规律文件名 有文件如下 观察文件发现这...
复制代码 代码如下: % Dim AppealNum,AppealCount AppealNum=10 '同一IP60秒内请...
HTML 文本格式化标签 标签 描述 b 定义粗体文本 em 呈现为被强调的文本 i 定义斜...
http请求介绍 HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信...
前言 之所以写这篇文章,主要是因为组长给提的一个新的需求使用浏览器调用电脑的...
如何将访问者数目周期性地保存? script LANGUAGE="VBScript" RUNAT="Server" SU...
StringJoiner是JDK1.8新出的一个类用于拼接字符串时加入分隔符、前缀、后缀。不...
第1关理想_高通滤波 #include BMP.h IplImage* Ideal_HighPassFilter ( IplImage...