大数据中的流处理是指对生成的数据进行实时处理和分析，从而实现立即行动或获得即时洞察。与处理随时间收集的静态数据集的批处理不同，流处理侧重于连续的数据流。当及时决策至关重要时，例如监控金融交易以防止欺诈或跟踪物联网系统中的传感器数据时，这种方法非常有用。流处理系统从消息队列、日志或设备等来源提取数据，以增量方式处理数据，并以最小的延迟输出结果。例如，网约车应用程序可能会使用流处理来根据实时需求更新司机可用性和定价。
典型的流处理架构涉及三个主要组成部分：数据摄取、处理逻辑和输出。诸如 Apache Kafka 或 Amazon Kinesis 之类的数据摄取工具收集和缓冲传入的数据流。然后，诸如 Apache Flink 或 Spark Streaming 之类的处理框架将转换、聚合或机器学习模型应用于数据。窗口化（将事件分组为时间间隔，例如 5 分钟平均值）是一种处理无界数据流的常用技术。例如，网络监控工具可能会计算 10 秒窗口内的服务器错误率，以检测中断。状态管理是另一个关键方面，它使系统能够跨事件跟踪用户会话或累积指标。即使数据到达顺序错误，事件时间处理也能确保准确的结果，这对于分析用户活动日志等用例至关重要。
流处理具有低延迟、可伸缩性和实时可见性等优点。用例包括欺诈检测（在几毫秒内阻止可疑交易）、实时仪表板（跟踪网站流量等指标）和动态定价（根据库存和需求调整电子商务报价）。例如，股票交易平台可能会使用流处理，通过分析市场数据源来执行高频交易。开发人员可以利用云服务（例如，用于无服务器处理的 AWS Lambda）或开源框架来构建这些系统。虽然存在处理反压（管理数据流入激增）等挑战，但流处理对于需要对实时数据做出即时响应的应用程序仍然至关重要。