Apache Flume 是一个分布式系统，旨在高效地收集、聚合和移动来自多个来源的大量流数据到集中的数据存储。它使用基于代理的灵活架构运行，这些代理是独立的 Java 进程，通过三个核心组件处理数据传输：来源（数据摄取）、通道（中间存储）和接收器（数据传递）。这种结构允许 Flume 将数据生产者与消费者分离，从而提供容错和可伸缩性。
Flume 代理使用属性文件进行配置，该文件定义了来源、通道和接收器，以及它们之间的关系。例如，来源可以从 Web 服务器读取日志文件（使用 exec 来源来追踪文件）或接收 HTTP 事件（通过 HTTP 来源）。来源摄取的数据被放入通道中，该通道充当缓冲区。通道可以是基于内存的（快速但易失）或基于文件的（较慢但持久）。然后，接收器从通道读取数据并将数据转发到诸如 HDFS、HBase、Kafka 或另一个 Flume 代理等目的地。为了确保可靠性，Flume 使用事务语义：只有在成功完成事务后，来源才会将事件写入通道，并且只有在确认传递后，接收器才会将其删除。这可以防止发生故障时的数据丢失。例如，如果接收器无法写入 HDFS，则该事件将保留在通道中以进行重试。
开发人员可以使用自定义来源、接收器或拦截器（用于数据转换）来扩展 Flume。一个常见的用例涉及分层代理：边缘代理从服务器收集日志并将其转发到聚合代理，聚合代理在写入 HDFS 之前整合数据。Flume 还支持使用通道选择器将数据多路复用到多个接收器，并根据标头路由事件。为了实现可伸缩性，可以在服务器上部署多个代理，并且可以调整通道容量以处理吞吐量要求。虽然 Flume 通常与 Hadoop 生态系统一起使用，但它与 Kafka 等现代工具集成以用于流处理管道。可以通过 JMX 或 REST API 实现监控，从而提供对诸如通道占用率或接收器成功率等指标的可见性。