Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

aws_tcp_to_file

本测试用于验证 aws_tcp_to_file 场景下的引擎性能(Mac M4 Mini,日志解析)。

场景描述

本场景可概括为:AWS ELB 日志,TCP 输入到 File 输出,执行 日志解析 能力

本测试旨在评估 WarpParseVector 两款引擎在 AWS ELB 日志 处理场景下的表现。

设计

  1. 测试目标: 对比两引擎在该日志场景下的吞吐、延迟、CPU/内存使用。
  2. 输入配置: TCP 输入,覆盖高并发/大吞吐压测场景。
  3. 输出配置: File 输出,用于验证链路吞吐能力。
  4. 预期行为:
  • 高频日志稳定消费,不丢失、不乱序,字段提取正确。
  • 在对应输入/输出链路下持续跑满数据源,不出现明显 backpressure。
  • 监控指标可正常采集,用于后续性能对比。

Results(Mac M4 Mini)

引擎输入模式输出模式消费速率(EPS)MPSCPU平均/峰值内存平均/峰值
WarpParseTCPFile347,800136.32495.90 % / 615.00 %481.30 MB / 847.70 MB
VectorTCPFile74,70029.28374.47 % / 409.50 %264.70 MB / 273.64 MB

结论

在本测试场景(AWS ELB 日志,TCP 输入到 File 输出,执行 日志解析 能力)中,对比 WarpParseVector 的性能表现,得出以下结论:

  1. 吞吐性能: WarpParse 表现出显著优势。

    • 消费速率达到 347,800 EPS,约是 Vector (74,700 EPS) 的 4.66 倍。
    • 这意味着在相同硬件资源下,WarpParse 能够处理更大规模的数据流量。
  2. 系统资源开销:

    • CPU: WarpParse 的 CPU 使用率更高(495.90 % vs 374.47 %)。
    • 内存: WarpParse 的内存占用更高(481.30 MB vs 264.70 MB)。

总结: WarpParse 在该场景下展现了卓越的吞吐性能(领先约 4.66 倍),虽然在资源消耗上略有增加,但考虑到数倍的性能提升,整体能效比极高。对于追求高吞吐量的日志处理场景,WarpParse 是更优的选择。