基准测试通过衡量系统接受、处理和存储来自各种来源的传入数据的速度来评估数据摄取速度。这通常涉及测试吞吐量（每秒的数据量）、延迟（从数据到达直到可用所需的时间）和可伸缩性（在负载增加下的性能）。这些指标帮助开发人员了解系统限制、识别瓶颈并优化管道。基准测试通常模拟实际场景，例如从 API、日志或物联网设备摄取数据，以确保结果反映实际用例。
例如，基准测试可能会衡量数据库在保持低延迟的同时，每秒可以从 Kafka 流摄取多少条记录。使用 Apache Kafka 内置的性能测试工具或自定义脚本来生成负载并跟踪指标。吞吐量通过将总处理记录数除以测试持续时间来计算，而延迟则通过数据输入时添加的时间戳并在存储后检查来衡量。可伸缩性测试会逐步增加数据源的数量或数据量，以查看吞吐量是否呈线性扩展。如果一个系统使用一个节点处理 10,000 条记录/秒，但使用两个节点只能处理 15,000 条，则表明在协调或资源分配方面存在瓶颈。
基准测试还评估资源效率，例如摄取期间的 CPU、内存和网络使用情况。例如，一个系统可能实现高吞吐量，但消耗过多的 CPU，这会使扩展成本很高。通常使用 Prometheus 或 Grafana 等工具来监控这些指标。测试中包括数据格式（JSON、CSV）、压缩和网络延迟等实际因素。基准测试可能会比较 Avro 和 JSON 的摄取，以显示基于模式的格式如何减少解析开销。通过隔离变量——例如禁用加密或缓存——开发人员可以找到优化点，例如切换到更高效的序列化格式或调整缓冲区大小。