一、clickhouse概述
clickhouse是Yandex（俄罗斯版的百度）于 2016 年开源的一个用于联机分析(OLAP)的列式大数据库管理系统(DBMS)。常见的很多人会将其和Druid、ES、Pinot等库进行对比。由于其具有低延迟、高写入速度、磁盘空间占用低等特点，同时几乎和mysql一样的查询语法。实际学习使用的门槛比较低。其具备以下特性：
- 采用列式存储
- 数据压缩
- 基于磁盘的存储，大部分列式存储数据库为了追求速度，会将数据直接写入内存，按时内存的空间往往很小
- CPU利用率高，在计算时会使用机器上的所有CPU资源
- 支持分片，并且同一个计算任务会在不同分片上并行执行，计算完成后会将结果汇总
- 支持SQL，SQL几乎成了大数据的标准工具，使用门槛较低
- 支持联表查询
- 支持实时更新
- 自动多副本同步
- 支持索引
- 分布式存储查询
二、单机安装ClickHouse
ClickHouse支持在线安装、离线安装、源代码编译安装、Docker镜像安装。这里使用yum源在线单机版安装测试。安装时可以使用https://repo.clickhouse.tech/rpm/stable/x86_64 或 https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/源。在centos7/centos8上的安装方式如下：
yum install yum-utils rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo yum install clickhouse-server clickhouse-client
安装后会自动创建clickhouse帐号，安装完成后，其默认的重要文件和目录如下：
# 服务端配置 /etc/clickhouse-server config.xml # 全局配置文件 user.xml # 用户配置文件 # 客户端配置 /etc/clickhouse-client config.xml # 客户端配置文件 # ClickHouse文件句柄数配置 /etc/security/limits.d/clickhouse.conf # 默认值262144，应该足够了 clickhouse soft nofile 262144 clickhouse hard nofile 262144 # ClickHouse全局配置文件: /etc/clickhouse-server/config.xml # 默认数据存储目录（一般需要修改为大容量磁盘挂载的目录） /var/lib/clickhouse # 默认日志存储目录（一般需要修改为大容量磁盘挂载的目录） /var/log/clickhouse-server
如果要修改默认的数据存储目录，可以通过方式修改：
# 创建数据目录并授权 mkdir -p /chbase/data/ chown -R clickhouse.clickhouse /chbase/data/ # 修改/etc/clickhouse-server/config.xml <path>/chbase/data/</path> <tmp_path>/chbase/data/tmp/</tmp_path> <user_files_path>/chbase/data/user_files/</user_files_path>
日志文件存在/var/log/clickhouse-server目录，同样也可以修改config.xml文件修改，其默认配置如下：
<level>trace</level> <log>/var/log/clickhouse-server/clickhouse-server.log</log> <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog> <size>1000M</size> <count>10</count>
以服务方式启动:
systemctl enable clickhouse-server systemctl start clickhouse-server
三、连接测试
下载官方测试数据，进行测试，解压路径以实际存储路径为准，按照上面的配置文件修改示例，需要解压到/chbase/data目录。测试部分数据可以官方在线帮助文档。
curl -O https://datasets.clickhouse.tech/hits/partitions/hits_v1.tar tar xvf hits_v1.tar -C /var/lib/clickhouse curl -O https://datasets.clickhouse.tech/visits/partitions/visits_v1.tar tar xvf visits_v1.tar -C /var/lib/clickhouse systemctl restart clickhouse-server
可以使用clickhouse-client进行sql连接，查询方式如下：
# 直接查询 [root@361way ~]# clickhouse-client --query "SELECT * FROM datasets.hits_v1 limit 10000"; # 交互式查询 361way :) show databases; SHOW DATABASES Query id: dfd99b12-40af-42aa-9032-3213623fa7d5 ┌─name─────┐ │ datasets │ │ default │ │ system │ └──────────┘ 3 rows in set. Elapsed: 0.001 sec. # http restful接口查询 [root@361way ~]# curl -X POST http://127.0.0.1:8123 -d "SELECT COUNT(*) FROM datasets.hits_v1" 8873898 [root@361way ~]# curl http://127.0.0.1:8123 -d "SELECT COUNT(*) FROM datasets.hits_v1" 8873898 # 导入csv数据 [root@361way ~]# clickhouse-client -h 192.168.1.17 --query="insert into database.table FORMAT CSV" < /opt/data.csv # 导出为csv数据 [root@361way ~]# clickhouse-client --query="select * from database.table FORMAT CSV" > /opt/data.csv
注：通过http接口进行查询进同时支持get、post请求，不过进行修改和创建操作只能通过post方法。
从简单的测试来看，其性能还是比较逆天的，以下是我在8c、16G的一台普通云主机上测试的结果，表结构181个字段，查询500万行数据并导出耗时1分钟不到（导出4.6G的csv数据）。
总结：
性能数据：
- 低延迟：对于数据量（几千行，列不是很多）不是很大的短查询，如果数据已经被载入缓存，且使用主码，延迟在50MS左右；
- 并发量：虽然ClickHouse是一种在线分析型数据库，也可支持一定的并发。当单个查询比较短时，官方建议100 Queries / second；
- 写入速度：在使用MergeTree引擎的情况下，写入速度大概是50 – 200M / s，如果按照1 K一条记录来算，大约每秒可写入50000 ~ 200000条记录每秒。如果每条记录比较小的话写入速度会更快；
常见应用场景：
- 电信行业用于存储数据和统计数据使用；
- 新浪微博用于用户行为数据记录和分析工作；
- 用于广告网络和RTB,电子商务的用户行为分析；
- 日志分析；
- 检测和遥感信息的挖掘；
- 商业智能；
- 网络游戏以及物联网的数据处理和价值数据分析；
- 最大的应用来自于Yandex的统计分析服务Yandex.Metri ca。
不足：
- 不支持事务、异步删除与更新
- 不适用高并发场景