流式架构中的代理充当数据生产者（生成数据的服务）和数据消费者（处理数据的服务）之间的中介。 它们管理实时数据流，确保可靠高效的通信。 通过解耦生产者和消费者，代理允许系统独立扩展。 例如，写入传感器数据的生产者不需要知道哪个消费者处理它，而分析日志的消费者不需要与生产者直接协调。 这种分离简化了系统设计并减少了组件之间的依赖关系。 代理还会临时存储数据，从而实现异步通信。 如果消费者暂时离线，代理会保留消息直到消费者恢复，从而防止数据丢失。
代理通过跨分区或节点分发数据来处理负载平衡和容错。 在像 Apache Kafka 这样的系统中，主题被分成多个分区，代理将这些分区分配给不同的服务器。 这允许并行处理：多个消费者可以同时从不同的分区读取数据。 例如，支付处理系统可能会按地区拆分交易，每个分区由一个专门的消费者处理。 代理还在节点之间复制数据以确保可用性。 如果代理失败，其他节点上的副本会无缝接管。 这种复制可以防止服务器崩溃或网络中断等情况下的停机和数据丢失。 开发人员配置复制因子以平衡持久性和资源使用，从而根据他们的需求定制可靠性。
最后，代理执行传递保证并跟踪消息进度。 它们支持可配置的语义，如“至少一次”（消息永远不会丢失但可能会重新传递）或“恰好一次”（即使在发生故障后，消息也只处理一次）。 例如，Kafka 使用偏移量（指示消费者在分区中的位置的数字标记）来跟踪已读取的消息。 如果消费者重新启动，它会从上次提交的偏移量恢复，避免重新处理，除非需要。 代理还通过控制数据流来管理背压。 如果消费者不堪重负，代理可以限制生产者或缓冲数据直到处理赶上。 这些功能使代理对于构建能够处理交通高峰或硬件故障等现实世界挑战的弹性、可扩展的流式系统至关重要。