ELK 企业级日志分析系统

input { file { path => "/var/log/nginx/access.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-logs-%{+YYYY.MM.dd}" } }

优势与局限

优势：

• 插件生态丰富，扩展性强。
• 与Elastic Stack（如Kibana、Beats）无缝集成。

局限：

• 高负载时资源消耗较大。
• 复杂数据处理需编写自定义规则。

替代方案对比

• Fluentd：轻量级，适合容器化环境。
• Filebeat：仅采集数据，需配合Logstash或Elasticsearch使用。

Logstash适用于需要灵活数据处理能力的场景，尤其在Elastic Stack生态中表现突出。

Kiabana介绍

Kibana 是一个开源的数据可视化与分析平台，专为 Elasticsearch 设计，用于交互式探索、分析和展示存储在 Elasticsearch 中的结构化或非结构化数据。它提供丰富的图表、地图、仪表盘等功能，帮助用户快速理解数据趋势和模式。

核心功能

数据可视化
支持柱状图、折线图、饼图、热力图等多种图表类型，用户可通过拖拽方式自定义可视化视图。

仪表盘
将多个可视化组件整合到单一界面，支持实时数据更新和交互式操作，适合监控和报告场景。

Discover 探索工具
提供全文搜索、字段过滤和聚合分析功能，用户可快速查询 Elasticsearch 索引中的原始数据。

开发者工具
内置 Console 工具，允许直接编写和执行 Elasticsearch 查询语句（如 REST API 请求），便于调试和管理索引。

机器学习集成
与 Elasticsearch 的机器学习功能结合，支持异常检测、预测分析等高级场景。

日志与指标分析
常用于日志管理（如 ELK Stack 中的日志分析）、应用性能监控（APM）和基础设施指标跟踪。

典型应用场景

• 运维监控：实时展示服务器性能指标、日志异常。
• 业务分析：可视化销售数据、用户行为分析。
• 安全审计：通过 SIEM 解决方案检测安全事件。

技术特点

• 基于 Web 的交互界面，支持多用户协作。
• 与 Elasticsearch 深度集成，查询响应速度快。
• 插件扩展机制，可集成第三方工具（如 Timelion 时间序列分析）。

Kibana 通常与 Elasticsearch、Logstash 和 Beats 组成 ELK Stack，是数据分析和可视化的重要工具之一。

三、ELK的工作原理

节点配置与服务分配

Node1节点

• 配置：2核CPU，4GB内存
• 主机名：node1
• IP地址：192.168.10.50
• 运行服务：Elasticsearch（集群模式）、Kibana

Node2节点

• 配置：2核CPU，4GB内存
• 主机名：node2
• IP地址：192.168.10.51
• 运行服务：Elasticsearch（集群模式）

Apache节点

• 主机名：apache
• IP地址：192.168.10.10
• 运行服务：Logstash、Apache HTTP服务器

Elasticsearch集群配置

确保Node1和Node2节点上的Elasticsearch配置为集群模式。编辑Elasticsearch配置文件（通常位于/etc/elasticsearch/elasticsearch.yml）：

cluster.name: my-elasticsearch-cluster node.name: node1 network.host: 192.168.10.50 discovery.seed_hosts: ["192.168.10.50", "192.168.10.51"] cluster.initial_master_nodes: ["node1", "node2"]

node.name: node2 network.host: 192.168.10.51

Kibana配置

在Node1节点上配置Kibana以连接到Elasticsearch集群。编辑Kibana配置文件（通常位于/etc/kibana/kibana.yml）：

server.host: "192.168.10.50" elasticsearch.hosts: ["http://192.168.10.50:9200", "http://192.168.10.51:9200"]

Logstash配置

在Apache节点上配置Logstash以收集Apache日志并发送到Elasticsearch集群。创建Logstash配置文件（如/etc/logstash/conf.d/apache.conf）：

input { file { path => "/var/log/apache2/access.log" start_position => "beginning" } } output { elasticsearch { hosts => ["192.168.10.50:9200", "192.168.10.51:9200"] index => "apache-logs-%{+YYYY.MM.dd}" } }

Apache日志配置

确保Apache节点上的Apache HTTP服务器已启用日志记录。检查Apache配置文件（如/etc/apache2/apache2.conf或/etc/httpd/conf/httpd.conf）：

CustomLog /var/log/apache2/access.log combined

服务启动与验证

启动Elasticsearch和Kibana服务：

systemctl start elasticsearch systemctl start kibana

启动Logstash服务：

systemctl start logstash

curl -X GET "192.168.10.50:9200/_cluster/health?pretty"

预期输出应显示集群状态为green或yellow。

防火墙配置

确保各节点之间的必要端口已开放：

• Elasticsearch：9200（HTTP API）、9300（节点通信）
• Kibana：5601
• Apache HTTP服务器：80或443

监控与维护

定期检查Elasticsearch集群的健康状态和节点负载。使用Kibana的可视化工具监控日志数据。对于生产环境，建议配置Elasticsearch的索引生命周期管理（ILM）以优化存储。

故障排查

如果节点无法加入集群，检查以下内容：

• 网络连通性（使用ping或telnet）
• Elasticsearch日志（通常位于/var/log/elasticsearch/）
• 防火墙规则
• 主机名解析（确保/etc/hosts包含所有节点条目）

五、Filebeat+ELK部署

环境配置说明

Node1节点

• 主机名：node1
• IP地址：192.168.10.50
• 资源配置：2核CPU/4GB内存
• 运行服务：Elasticsearch（集群模式）、Kibana

Node2节点

• 主机名：node2
• IP地址：192.168.10.51
• 资源配置：2核CPU/4GB内存
• 运行服务：Elasticsearch（集群模式）

Apache节点

• 主机名：apache
• IP地址：192.168.10.10
• 运行服务：Logstash、Apache HTTP服务器

Filebeat节点

• 主机名：filebeat
• IP地址：192.168.10.20
• 运行服务：Filebeat

服务功能与协作流程

Elasticsearch集群

• Node1和Node2共同组成Elasticsearch集群，用于分布式存储和检索数据。
• 需确保两节点配置相同的集群名称（如cluster.name: my-elastic-cluster）并相互发现。

Kibana

• 部署在Node1上，提供Elasticsearch数据的可视化界面。
• 配置需指向Elasticsearch服务地址（如elasticsearch.hosts: ["http://192.168.10.50:9200"]）。

Logstash

• 运行在Apache节点，负责接收、过滤和转发日志数据至Elasticsearch。
• 示例配置输入（如Filebeat）、过滤（如Grok解析）和输出（如Elasticsearch节点地址）。

Filebeat

• 部署在filebeat节点，采集本地或远程日志（如Apache日志）并发送至Logstash或Elasticsearch。
• 需配置输出目标为Logstash（如output.logstash.hosts: ["192.168.10.10:5044"]）。

关键配置建议

Elasticsearch集群配置

• 修改elasticsearch.yml确保节点通信：

  cluster.name: my-elastic-cluster node.name: node1 # 或 node2 network.host: 192.168.10.50 # 或 192.168.10.51 discovery.seed_hosts: ["192.168.10.50", "192.168.10.51"]

  Kibana连接Elasticsearch

• 修改kibana.yml：

  server.host: "192.168.10.50" elasticsearch.hosts: ["http://192.168.10.50:9200"]

  Logstash管道配置

• 示例logstash.conf：

  input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://192.168.10.50:9200", "http://192.168.10.51:9200"] } }

  Filebeat输出配置

• 修改filebeat.yml：

  output.logstash: hosts: ["192.168.10.10:5044"]

  验证步骤

• 检查Elasticsearch集群状态：

  curl -X GET "http://192.168.10.50:9200/_cluster/health?pretty"

• 返回的number_of_nodes应为2。

• 访问Kibana界面：
  http://192.168.10.50:5601，确认能否加载Elasticsearch索引。

• 测试日志流水线：

  • 在Apache节点生成日志，通过Filebeat发送至Logstash，最终在Kibana中查询日志数据。