数据流通过允许系统在数据生成时对其进行处理和分析，而不是等待批量数据累积，从而实现实时分析。 这种方法使用连续的数据摄取和处理管道来处理传入的事件，例如用户交互、传感器读数或事务日志，并具有最小的延迟。 通过处理动态数据，流系统可以立即检测模式、触发操作或更新仪表板，从而提供可在实时操作的见解。 例如，一个共享乘车应用程序可能会使用流来跟踪司机的位置，并立即将其与乘客的请求进行匹配。
传统的批处理引入了延迟，因为数据先存储，然后再分析。 流处理通过对动态数据进行操作来避免这种情况。 诸如 Apache Kafka 或 Amazon Kinesis 之类的工具充当消息代理，收集和分发数据流到诸如 Apache Flink 或 Spark Streaming 之类的处理引擎。 这些引擎在数据到达时对数据应用转换、聚合或机器学习模型。 例如，一个欺诈检测系统可以通过将每个事务与历史行为或异常检测规则进行比较，在几毫秒内分析信用卡交易并标记可疑活动。
流式系统的架构通过诸如窗口和状态管理之类的功能来支持实时分析。 窗口将流分成时间限制的段（例如，“过去 5 分钟”），以计算平均值或计数等指标。 有状态处理会跨事件跟踪上下文，例如用户在网站上的会话活动。 开发人员可以使用诸如 Kafka Streams 之类的框架来实现这些功能，该框架会自动处理缩放和容错。 例如，物流公司可以通过将 GPS 数据聚合到 10 秒的窗口中来监视送货卡车，以检测延误。 通过将低延迟处理与可扩展的基础架构相结合，流处理可确保分析与传入数据保持同步。