Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

mixed_tcp_to_file

本测试用于验证 mixed_tcp_to_file 场景下的引擎性能(Mac M4 Mini,日志解析+转换)。

场景描述

本场景覆盖两类混合日志:

  • Mixed-1295B:四类日志 1:1:1:1 混合,平均 1295B。
  • Mixed-867B:四类日志 3:2:1:1 混合,平均 867B。

链路为 TCP 输入到 File 输出,执行日志解析 + 转换。

本测试旨在评估 WarpParseVector 两款引擎在 Mixed 日志 处理场景下的表现。

设计

  1. 测试目标: 对比两引擎在该日志场景下的吞吐、延迟、CPU/内存使用。
  2. 输入配置: TCP 输入,覆盖高并发/大吞吐压测场景。
  3. 输出配置: File 输出,用于验证端到端落盘链路的解析+转换能力。
  4. 预期行为:
  • 高频日志稳定消费,不丢失、不乱序,字段提取正确,转换链路正确执行。
  • 在对应输入/输出链路下持续跑满数据源,不出现明显 backpressure。
  • 监控指标可正常采集,用于后续性能对比。

Results(Parse + Transform,Mac M4 Mini)

配比/平均大小引擎EPSMPS
1:1:1:1 / 1295BWarpParse199,300246.14
Vector60,80075.09
3:2:1:1 / 867BWarpParse299,600247.72
Vector69,50057.47

结论

在本测试场景(Mixed 日志,TCP 输入到 File 输出,执行 日志解析 + 转换 能力)中,对比 WarpParseVector 的性能表现,得出以下结论:

  1. 吞吐性能: WarpParse 在两种混合配比下均显著领先。

    • 1:1:1:1 配比:199,300 EPS(MPS 246.14),约为 Vector 的 3.3x。
    • 3:2:1:1 配比:299,600 EPS(MPS 247.72),约为 Vector 的 4.3x。
  2. 系统资源开销: 资源详情见报告主表;落盘链路的内存峰值受缓冲策略影响。

总结: 两种混合配比下,WarpParse 在 TCP→File 解析+转换场景保持明显吞吐优势。