mixed_file_to_blackhole
本测试用于验证 mixed_file_to_blackhole 场景下的引擎性能(Mac M4 Mini,日志解析+转换)。
场景描述
本场景覆盖两类混合日志:
- Mixed-1295B:四类日志 1:1:1:1 混合,平均 1295B。
- Mixed-867B:四类日志 3:2:1:1 混合,平均 867B。
链路为 File 输入到 BlackHole 输出,执行日志解析 + 转换。
本测试旨在评估 WarpParse 与 Vector 两款引擎在 Mixed 日志 处理场景下的表现。
设计
- 测试目标: 对比两引擎在该日志场景下的吞吐、延迟、CPU/内存使用。
- 输入配置: File 输入,覆盖高并发/大吞吐压测场景。
- 输出配置: BlackHole 输出,用于验证管线解析+转换能力。
- 预期行为:
- 高频日志稳定消费,不丢失、不乱序,字段提取正确,转换链路正确执行。
- 在对应输入/输出链路下持续跑满数据源,不出现明显 backpressure。
- 监控指标可正常采集,用于后续性能对比。
Results(Parse + Transform,Mac M4 Mini)
| 配比/平均大小 | 引擎 | EPS | MPS |
|---|---|---|---|
| 1:1:1:1 / 1295B | WarpParse | 396,300 | 489.43 |
| Vector | 98,704 | 121.90 | |
| 3:2:1:1 / 867B | WarpParse | 560,600 | 463.52 |
| Vector | 138,157 | 114.23 |
结论
在本测试场景(Mixed 日志,File 输入到 BlackHole 输出,执行 日志解析 + 转换 能力)中,对比 WarpParse 与 Vector 的性能表现,得出以下结论:
-
吞吐性能: WarpParse 在两种混合配比下均显著领先。
- 1:1:1:1 配比:396,300 EPS(MPS 489.43),约为 Vector 的 4.0x。
- 3:2:1:1 配比:560,600 EPS(MPS 463.52),约为 Vector 的 4.1x。
-
系统资源开销: 资源详情见报告主表,WarpParse 在吞吐提升的同时保持资源优势。
总结: 两种混合配比下,WarpParse 在解析+转换场景依旧显著领先,适合高吞吐的 file→blackhole 混合日志处理。