一、概述

Filebeat是一个轻量级的日志数据收集工具，属于Elastic公司的Elastic Stack（ELK Stack）生态系统的一部分。它的主要功能是从各种来源收集日志数据，将数据发送到Elasticsearch、Logstash或其他目标，以便进行搜索、分析和可视化。

以下是Filebeat的主要概述和特点：

• 轻量级：Filebeat是一个轻量级的代理，对系统资源的消耗非常低。它设计用于高性能和低延迟，可以在各种环境中运行，包括服务器、容器和虚拟机。
• 多源收集：Filebeat支持从各种来源收集数据，包括日志文件、系统日志、Docker容器日志、Windows事件日志等。它具有多个输入模块，可以轻松配置用于不同数据源的数据收集。
• 模块化：Filebeat采用模块化的方式组织配置，每个输入类型都可以作为一个模块，易于扩展和配置。这使得添加新的数据源和日志格式变得更加简单。
• 自动发现：Filebeat支持自动发现服务，可以在容器化环境中自动识别新的容器和服务，并开始收集其日志数据。
• 安全性：Filebeat支持安全传输，可以使用TLS/SSL加密协议将数据安全地传输到目标。它还支持基于令牌的身份验证。
• 数据处理：Filebeat可以对数据进行简单的处理，如字段分割、字段重命名和数据过滤，以确保数据适合进一步处理和分析。
• 目标输出：Filebeat可以将数据发送到多个目标，最常见的是将数据发送到Elasticsearch，以便进行全文搜索和分析。此外，还可以将数据发送到Logstash、Kafka等目标。
• 实时性：Filebeat可以以实时方式收集和传输数据，确保日志数据及时可用于分析和可视化。
• 监控和管理：Filebeat具有自身的监控功能，可以监视自身的状态和性能，并与Elasticsearch、Kibana等工具集成，用于管理和监控数据收集。

工作的流程图如下：

图片

Filebeat的采集原理的主要步骤

1. 数据源检测：

Filebeat首先配置要监视的数据源，这可以是日志文件、系统日志、Docker容器日志、Windows事件日志等。Filebeat可以通过输入模块配置来定义数据源。

2. 数据收集：

• 一旦数据源被定义，Filebeat会定期轮询这些数据源，检查是否有新的数据产生。

• 如果有新数据，Filebeat将读取数据并将其发送到后续处理阶段。

3. 数据处理：

• Filebeat可以对采集到的数据进行一些简单的处理，例如字段分割、字段重命名、数据解析等。这有助于确保数据格式适合进一步的处理和分析。

4. 数据传输：

• 采集到的数据将被传输到一个或多个目标位置，通常是Elasticsearch、Logstash或Kafka等。

• Filebeat可以配置多个输出目标，以便将数据复制到多个地方以增加冗余或分发数据。

5. 安全性和可靠性：

• Filebeat支持安全传输，可以使用TLS/SSL协议对数据进行加密。它还具有数据重试机制，以确保数据能够成功传输到目标位置。

6. 数据目的地：

• 数据被传输到目标位置后，可以被进一步处理、索引和分析。目标位置通常是Elasticsearch，用于全文搜索和分析，或者是Logstash用于进一步的数据处理和转换，也可以是Kafka等其他消息队列。

7. 实时性和监控：

• Filebeat可以以实时方式监视数据源，确保新数据能够快速传输和处理。

• Filebeat还可以与监控工具集成，以监控其自身的性能和状态，并将这些数据发送到监控系统中。

总的来说，Filebeat采集原理是通过轮询监视数据源，将新数据采集并发送到目标位置，同时确保数据的安全传输和可靠性。它提供了一种高效且灵活的方式来处理各种类型的日志和事件数据，以便进行后续的分析和可视化。

二、Kafka 安装

为了快速部署，这里选择通过docker-compose部署，可以参考我这篇文章：【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程

# 先安装 zookeeper
git clone https://gitee.com/hadoop-bigdata/docker-compose-zookeeper.git
cd docker-compose-zookeeper 
docker-compose -f docker-compose.yaml up -d

# 安装kafka
git clone https://gitee.com/hadoop-bigdata/docker-compose-kafka.git
cd docker-compose-kafka
docker-compose -f docker-compose.yaml up -d