如何基于Flink + Clickhouse打造百亿规模日志查询平台

一、背景：为什么弃用 Elasticsearch？选择 ClickHouse？

在早期日志检索系统中，Elasticsearch（ES）几乎是事实标准：

• 倒排索引，全文检索能力强

• 生态成熟，Kibana 使用友好

• 对研发同学上手成本低

但是：日志查询需要“精准模糊匹配”，而不是分词搜索

在日志场景中，一个经常被忽略但非常关键的事实是：

日志查询 ≠ 自然语言搜索

绝大多数日志检索关注的是：

• traceId / requestId

• error code

• 固定格式的异常片段

• 精确字符串上下文

例如：

#0 (cfeebeea05bd01966dc6320727f2fa7 java.lang.IllegalStateException Timeout while waiting for xxx

这些内容的共同特点是：

• 强顺序性