Elasticsearch与Clickhouse的对比分析

link之家

链接快照平台

相关文章推荐

冷冷的皮带 · r语言plot画散点图加趋势线-掘金· 2 年前 ·

飘逸的酱牛肉 · vmware的APD和PDL详细解析_滴水穿 ...· 2 年前 ·

卖萌的葡萄酒 · 使用Python写服务器端的SVN ...· 2 年前 ·

携程的日志系统从ES迁移到ClickHouse的经历，主要核心点：

1）ClickHouse比ES硬件成本低：相同数据占用的磁盘空间只有ES的 1/3 到 1/30。

2）ClickHouse比ES读写性能更好：ClickHouse 的查询速度比ES快 5-30 倍以上。

Uber的日志系统从ES迁移到ClickHouse的过程（使用 ReplicatedMergeTree Table ）：

1）常用字段作为“固定字段”。

2）通过array类型解决“动态字段”的问题，查询速度比普通字段稍慢。

3）通过保存的字段信息构造SQL查询。

4）分析字段的使用情况，将常用的“动态字段”变更为“固定字段”，提升性能。

5）对上层应用（Kibana dashboards）做了透明迁移，上层无感知。

1）硬件资源消耗减少一半以上。

2）数据写入延迟1分钟以内。

3）查询性能比ES强。

在ClickHouse中处理时序指标时，对于变化的“指标字段”，对比了几种建表方式在数据压缩率和性能方面的差异。

介绍了B站基于Clickhouse的日志存储经验。

主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。

1、ClickHouse资源消耗比ES低，读写性能比ES强。

2、“动态字段问题”ClickHouse可以通过array或者map、nested类型来解决。

3、ES在集群管理上比ClickHouse简单，ClickHouse的表在集群模式下使用ReplicatedMergeTree和Distributed引擎，集群搭建和运维比ES复杂。

4、ClickHouse生态没有ES完善。

5、ES对全文检索的支持比ClickHouse好。

6、ES对数据更新的支持比ClickHouse好。