apt_tcp_to_file
本测试用于验证 apt_tcp_to_file 场景下的引擎性能(Mac M4 Mini,日志解析+转换)。
场景描述
本场景可概括为:APT 3K 威胁日志,TCP 输入到 File 输出,执行 日志解析+转换 能力。
本测试旨在评估 WarpParse 与 Vector 两款引擎在 APT 3K 威胁日志 处理场景下的表现。
设计
- 测试目标: 对比两引擎在该日志场景下的吞吐、延迟、CPU/内存使用。
- 输入配置: TCP 输入,覆盖高并发/大吞吐压测场景。
- 输出配置: File 输出,用于验证链路吞吐能力。
- 预期行为:
- 解析与转换链路正确执行,字段映射/增强结果与规则期望一致。
- 高负载下转换不成为瓶颈,整体吞吐稳定,延迟可控。
- 性能与资源指标可正常采集,用于后续对比与回归。
Results(Mac M4 Mini)
| 引擎 | 输入模式 | 输出模式 | 消费速率(EPS) | MPS | CPU平均/峰值 | 内存平均/峰值 |
|---|---|---|---|---|---|---|
| WarpParse | TCP | File | 169,800 | 574.38 | 663.90 %/883.80 % | 871.77 MB/1500.22 MB |
| Vector | TCP | File | 24,900 | 84.23 | 538.78 %/644.90 % | 393.26 MB/420.05 MB |
结论
在本测试场景(APT 3K 威胁日志,TCP 输入到 File 输出,执行 日志解析+转换 能力)中,对比 WarpParse 与 Vector 的性能表现,得出以下结论:
-
吞吐性能: WarpParse 表现出显著优势。
- 消费速率达到 169,800 EPS,约是 Vector (24,900 EPS) 的 6.82 倍。
- 这意味着在相同硬件资源下,WarpParse 能够处理更大规模的数据流量。
-
系统资源开销:
- CPU: WarpParse 的 CPU 使用率更高(663.90 % vs 538.78 %)。
- 内存: WarpParse 的内存占用更高(871.77 MB vs 393.26 MB)。
总结: WarpParse 在该场景下展现了卓越的吞吐性能(领先约 6.82 倍),虽然在资源消耗上略有增加,但考虑到数倍的性能提升,整体能效比极高。对于追求高吞吐量的日志处理场景,WarpParse 是更优的选择。