Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Mac 性能测试报告

1. 技术概述与测试背景

1.1 测试背景

本报告旨在深度对比 WarpParseVector 在高性能日志处理场景下的能力差异。基于最新基线数据,测试覆盖了从轻量级 Web 日志到复杂的安全威胁日志,重点评估两者在单机环境下的解析(Parse)与转换(Transform)性能、资源消耗及规则维护成本。

1.2 被测对象

  • WarpParse: 大禹安全公司研发的高性能 ETL 核心引擎,采用 Rust 构建,专为极致吞吐和复杂安全日志分析设计。
  • Vector: 开源领域标杆级可观测性数据管道工具,同样采用 Rust 构建,以高性能和广泛的生态兼容性著称。

2. 测试环境与方法

2.1 测试环境

  • 平台: Mac M4 Mini
  • 操作系统: MacOS
  • 硬件规格: 10C16G

2.2 测试范畴 (Scope)

  • 日志类型:
    • Nginx Access Log (239B): 典型 Web 访问日志,高吞吐场景。
    • AWS ELB Log (411B): 云设施负载均衡日志,中等复杂度。
    • Sysmon JSON (1K): 终端安全监控日志,JSON 结构,字段较多。
    • APT Threat Log (3K): 模拟的高级持续性威胁日志,大体积、长文本。
    • Mixed Log (): 上述四类日志混合起来形成的日志类型。
  • 数据拓扑:
    • File -> BlackHole: 测算引擎极限 I/O 读取与处理能力 (基准)。
    • TCP -> BlackHole: 测算网络接收与处理能力。
    • TCP -> File: 测算端到端完整落地能力。
  • 测试能力:
    • 解析 (Parse): 仅进行正则提取/JSON解析与字段标准化。
    • 解析+转换 (Parse+Transform): 在解析基础上增加字段映射、富化、类型转换等逻辑。

2.3 评估指标

  • EPS (Events Per Second): 每秒处理事件数(核心吞吐指标)。
  • MPS (MiB/s): 每秒处理数据量。
  • CPU/Memory: 进程平均与峰值资源占用。
  • Rule Size: 规则配置文件体积,评估分发与维护成本。

3. 详细性能对比分析

3.1 日志解析能力 (Parse Only)

在纯解析场景下,WarpParse 展现出压倒性的性能优势,尤其在小包高并发场景下。

3.1.1 Nginx Access Log (239B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole2,456,100559.81684% / 825%107 MB / 120 MB4.5x
VectorFile -> BlackHole540,540123.20342% / 405%231 MB / 251 MB1.0x
WarpParseTCP -> BlackHole1,737,200395.96507% / 651%426 MB / 450 MB1.8x
VectorTCP -> BlackHole974,100222.02531% / 661%233 MB / 238 MB1.0x
WarpParseTCP -> File1,084,600247.21541% / 722%697 MB / 700 MB11.9x
VectorTCP -> File91,20020.79186% / 195%231 MB / 244 MB1.0x

解析规则大小:

  • WarpParse:174B
  • Vector:416B

3.1.2 AWS ELB Log (411B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole1,012,400396.82827% / 938%237 MB / 264 MB6.4x
VectorFile -> BlackHole158,73062.22634% / 730%297 MB / 307 MB1.0x
WarpParseTCP -> BlackHole884,700346.76612% / 814%710 MB / 743 MB5.4x
VectorTCP -> BlackHole163,60064.12629% / 675%264 MB / 276 MB1.0x
WarpParseTCP -> File347,800136.32496% / 615%481 MB / 848 MB4.7x
VectorTCP -> File74,70029.28374% / 410%265 MB / 274 MB1.0x

解析规则大小:

  • WarpParse:1153B
  • Vector:2289B

3.1.3 Sysmon JSON Log (1K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole440,000413.74852% / 944%224 MB / 338 MB5.7x
VectorFile -> BlackHole76,71772.14463% / 564%295 MB / 313 MB1.0x
WarpParseTCP -> BlackHole418,900393.90720% / 815%456 MB / 461 MB3.7x
VectorTCP -> BlackHole111,900105.22720% / 809%363 MB / 377 MB1.0x
WarpParseTCP -> File279,700263.01713% / 789%441 MB / 453 MB4.5x
VectorTCP -> File62,10058.39471% / 543%344 MB / 356 MB1.0x

解析规则大小:

  • WarpParse:1552B
  • Vector:3259B

3.1.4 APT Threat Log (3K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole314,2001062.84700% / 826%176 MB / 181 MB9.3x
VectorFile -> BlackHole33,614113.71563% / 678%261 MB / 278 MB1.0x
WarpParseTCP -> BlackHole298,2001008.72694% / 762%409 MB / 481 MB6.5x
VectorTCP -> BlackHole46,100155.94849% / 922%421 MB / 446 MB1.0x
WarpParseTCP -> File179,600607.53606% / 853%1016 MB / 1988 MB5.0x
VectorTCP -> File36,200122.45688% / 755%369 MB / 397 MB1.0x

解析规则大小:

  • WarpParse:985B
  • Vector:1759B

3.1.5 Mixed log (平均日志大小:867B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole672,500556.05815% / 904%218 MB / 250 MB4.7x
VectorFile -> BlackHole143,608118.74845% / 958%271 MB / 290 MB1.0x
WarpParseTCP -> BlackHole613,000506.85652% / 805%365 MB / 580 MB3.8x
VectorTCP -> BlackHole161,000133.12919% / 957%324 MB / 333 MB1.0x
WarpParseTCP -> File308,400255.00535% / 598%320 MB / 346 MB4.4x
VectorTCP -> File69,50057.47447% / 478%370 MB / 388 MB1.0x

解析规则大小:

  • WarpParse:3864B
  • Vector:7723B

混合日志规则:

  • 4类日志按照3:2:1:1混合

3.2 解析 + 转换能力 (Parse + Transform)

引入转换逻辑后,WarpParse 依然保持显著领先,表明其数据处理管线极其高效,转换操作未成为瓶颈。

3.2.1 Nginx Access Log(239B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole1,749,200398.69763% / 866%143 MB / 159 MB3.7x
VectorFile -> BlackHole470,312107.20372% / 423%254 MB / 280 MB1.0x
WarpParseTCP -> BlackHole1,219,100277.87485% / 625%415 MB / 440 MB1.4x
VectorTCP -> BlackHole870,500198.41514% / 640%238 MB / 258 MB1.0x
WarpParseTCP -> File797,700181.82492% / 621%523 MB / 540 MB11.3x
VectorTCP -> File70,80016.14161% / 181%226 MB / 236 MB1.0x

解析+转换规则大小:

  • WarpParse:521B
  • Vector:682B

3.2.2 AWS ELB Log(411B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole710,400278.45837% / 912%230 MB / 252 MB5.5x
VectorFile -> BlackHole129,74350.85593% / 665%283 MB / 298 MB1.0x
WarpParseTCP -> BlackHole611,800239.80624% / 753%478 MB / 487 MB4.0x
VectorTCP -> BlackHole152,90059.93612% / 678%288 MB / 294 MB1.0x
WarpParseTCP -> File318,200124.72593% / 733%409 MB / 547 MB5.5x
VectorTCP -> File58,20022.81332% / 374%276 MB / 288 MB1.0x

解析+转换规则大小:

  • WarpParse:1694B
  • Vector:2650B

3.2.3 Sysmon JSON Log (1K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole354,800333.63880% / 935%157 MB / 170 MB6.1x
VectorFile -> BlackHole58,20054.73431% / 528%296 MB / 317 MB1.0x
WarpParseTCP -> BlackHole299,500281.63665% / 749%367 MB / 377 MB3.1x
VectorTCP -> BlackHole97,20091.40711% / 807%399 MB / 424 MB1.0x
WarpParseTCP -> File219,900206.78719% / 817%431 MB / 457 MB5.5x
VectorTCP -> File40,30037.90391% / 497%394 MB / 409 MB1.0x

解析+转换规则大小:

  • WarpParse:2249B
  • Vector:3782B

3.2.4 APT Threat Log (3K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole280,000947.15769% / 869%172 MB / 178 MB9.1x
VectorFile -> BlackHole30,612103.55561% / 654%248 MB / 273 MB1.0x
WarpParseTCP -> BlackHole238,900808.12657% / 705%364 MB / 389 MB7.0x
VectorTCP -> BlackHole34,000115.01693% / 849%408 MB / 430 MB1.0x
WarpParseTCP -> File169,800574.38664% / 884%871 MB / 1500 MB6.8x
VectorTCP -> File24,90084.23539% / 645%393 MB / 420 MB1.0x

解析+转换规则大小:

  • WarpParse:1638B
  • Vector:2259B

3.2.5 Mixed Log (平均日志大小:1295B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole396,300489.43833% / 948%203MB / 223MB4.0x
VectorFile -> BlackHole98,704121.90871% / 971%299MB / 318MB1.0x
WarpParseTCP -> BlackHole387,400478.44757% / 853%389MB / 411MB3.6x
VectorTCP -> BlackHole108,400133.87938% / 965%302MB / 317MB1.0x
WarpParseTCP -> File199,300246.14576% / 776%329MB / 496MB3.3x
VectorTCP -> File60,80075.09566% / 614%371MB / 389MB1.0x

解析+转换规则大小:

  • WarpParse:6102B
  • Vector:9373B

混合日志规则:

  • 4类日志按照1:1:1:1混合

3.2.6 Mixed Log (平均日志大小:867B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole560,600463.52865% / 931%228 MB / 239 MB
VectorFile -> BlackHole138,157114.23851% / 971%261 MB / 283 MB1.0x
WarpParseTCP -> BlackHole515,300426.07706% / 822%309 MB / 320 MB
VectorTCP -> BlackHole156,000128.99885% / 955%337 MB / 351 MB1.0x
WarpParseTCP -> File299,600247.72649% / 761%415 MB / 500 MB
VectorTCP -> File69,50057.47457% / 505%367 MB / 393 MB1.0x

解析+转换规则大小:

  • WarpParse:6102B
  • Vector:9373B

混合日志规则:

  • 4类日志按照3:2:1:1混合

3.3 linux测试数据

3.3.1 Nginx Access Log (239B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole790,900180.27549% / 583%66 MB / 67 MB4.1x
VectorFile -> BlackHole192,01543.77350% / 364%143 MB / 152 MB1.0x
WarpParseTCP -> BlackHole767,000174.82468% / 605%188 MB / 532 MB2.1x
VectorTCP -> BlackHole371,10084.58519% / 540%153 MB / 157 MB1.0x
WarpParseTCP -> File397,20090.53616% / 666%181 MB / 511 MB21.5x
VectorTCP -> File18,5004.22186% / 195%231 MB / 244 MB1.0x

解析规则大小:

  • WarpParse:174B
  • Vector:416B

3.3.2 AWS ELB Log (411B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole394,500154.63757% / 775%421 MB / 541 MB7.5x
VectorFile -> BlackHole52,87520.72534% / 585%145 MB / 152 MB1.0x
WarpParseTCP -> BlackHole367,700144.12686% / 724%205 MB / 564 MB6.3x
VectorTCP -> BlackHole58,20022.81479% / 531%172 MB / 183 MB1.0x
WarpParseTCP -> File169,70066.52704% / 731%170 MB / 222 MB11.1x
VectorTCP -> File15,3006.00249% / 269%159 MB / 163 MB1.0x

解析规则大小:

  • WarpParse:1153B
  • Vector:2289B

3.3.3 Sysmon JSON Log (1K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole152,500143.40726% / 776%318 MB / 368 MB2.0x
VectorFile -> BlackHole76,71772.14463% / 564%295 MB / 313 MB1.0x
WarpParseTCP -> BlackHole149,800140.86711% / 763%221 MB / 678 MB4.0x
VectorTCP -> BlackHole37,40035.17580% / 650%236 MB / 246 MB1.0x
WarpParseTCP -> File104,90098.64750% / 764%169 MB / 505 MB7.7x
VectorTCP -> File13,60012.79323% / 352%213 MB / 222 MB1.0x

解析规则大小:

  • WarpParse:1552B
  • Vector:3259B

3.3.4 APT Threat Log (3K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole134,700455.65465% / 565%136 MB / 161 MB9.8x
VectorFile -> BlackHole13,78046.61534% / 614%190 MB / 193 MB1.0x
WarpParseTCP -> BlackHole129,600438.40502% / 606%237 MB / 273 MB7.4x
VectorTCP -> BlackHole17,40058.86783% / 795%228 MB / 246 MB1.0x
WarpParseTCP -> File63,500214.80492% / 560%423 MB / 1161 MB7.8x
VectorTCP -> File8,10027.40457% / 528%217 MB / 226 MB1.0x

解析规则大小:

  • WarpParse:985B
  • Vector:1759B

3.3.5 Mixed Log (平均日志大小:867B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole267,600221.26649% / 758%298 MB / 347 MB4.7x
VectorFile -> BlackHole56,77446.94794% / 800%178 MB / 182 MB1.0x
WarpParseTCP -> BlackHole259,000214.15706% / 822%309 MB / 320 MB4.4x
VectorTCP -> BlackHole58,50048.37778% / 787%205 MB / 216 MB1.0x
WarpParseTCP -> File159,900132.21696% / 728%121 MB / 185 MB10.8x
VectorTCP -> File14,80012.24294% / 318%203 MB / 215 MB1.0x

解析+转换规则大小:

  • WarpParse:6102B
  • Vector:9373B

混合日志规则:

  • 4类日志按照3:2:1:1混合

3.4.1 Nginx Access Log(239B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole649,100147.95659% / 704%194 MB / 505 MB3.6x
VectorFile -> BlackHole181,73941.42381% / 397%156 MB / 169 MB1.0x
WarpParseTCP -> BlackHole574,200130.88522% / 613%138 MB / 383 MB1.8x
VectorTCP -> BlackHole318,90072.69462% / 538%161 MB / 167 MB1.0x
WarpParseTCP -> File299,90068.36583% / 644%145 MB / 348 MB16.9x
VectorTCP -> File17,7004.03146% / 151%137 MB / 140 MB1.0x

解析+转换规则大小:

  • WarpParse:521B
  • Vector:682B

3.4.2 AWS ELB Log(411B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole265,800104.18626% / 713%248 MB / 362 MB5.1x
VectorFile -> BlackHole52,38020.53495% / 551%171 MB / 181 MB1.0x
WarpParseTCP -> BlackHole239,60093.91576% / 628%120 MB / 166 MB4.3x
VectorTCP -> BlackHole55,80021.87483% / 520%180 MB / 184 MB1.0x
WarpParseTCP -> File139,90054.84679% / 741%183 MB / 284 MB7.8x
VectorTCP -> File17,9007.02261% / 281%169 MB / 174 MB1.0x

解析+转换规则大小:

  • WarpParse:1694B
  • Vector:2650B

3.4.3 Sysmon JSON Log (1K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole126,800119.23748% / 793%281 MB / 422 MB4.5x
VectorFile -> BlackHole28,15726.48454% / 511%221 MB / 232 MB1.0x
WarpParseTCP -> BlackHole119,900112.74715% / 772%180 MB / 563 MB3.5x
VectorTCP -> BlackHole34,20032.16568% / 701%255 MB / 266 MB1.0x
WarpParseTCP -> File84,90079.83706% / 764%170 MB / 384 MB5.8x
VectorTCP -> File14,70013.82344% / 414%240 MB / 252 MB1.0x

解析+转换规则大小:

  • WarpParse:2249B
  • Vector:3782B

3.4.4 APT Threat Log (3K)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole122,500414.38542% / 637%161 MB / 204 MB9.6x
VectorFile -> BlackHole12,78343.24546% / 580%194 MB / 198 MB1.0x
WarpParseTCP -> BlackHole114,800388.33534% / 543%234 MB / 277 MB7.3x
VectorTCP -> BlackHole15,70053.11786% / 796%236 MB / 249 MB1.0x
WarpParseTCP -> File58,700198.56473% / 569%682 MB / 1296 MB6.4x
VectorTCP -> File9,20031.12487% / 521%224 MB / 233 MB1.0x

解析+转换规则大小:

  • WarpParse:1638B
  • Vector:2259B

3.4.5 Mixed Log (平均日志大小:867B)

引擎拓扑EPSMPSCPU (Avg/Peak)MEM (Avg/Peak)性能倍数
WarpParseFile -> BlackHole223,300184.63673% / 777%328 MB / 387 MB3.9x
VectorFile -> BlackHole56,66646.85792% / 798%181 MB / 184 MB1.0x
WarpParseTCP -> BlackHole209,300173.06659% / 701%128 MB / 161 MB3.7x
VectorTCP -> BlackHole57,30047.38782% / 787%202 MB / 211 MB1.0x
WarpParseTCP -> File134,900111.54695% / 736%121 MB / 154 MB7.0x
VectorTCP -> File19,40016.04308% / 317%209 MB / 213 MB1.0x
  • 解析+转换规则大小:

    • WarpParse:6102B
    • Vector:9373B

    混合日志规则:

    • 4类日志按照3:2:1:1混合

4. 核心发现与架构优势分析

4.1 性能与资源效率

核心发现:

  1. 吞吐量碾压: 在所有 24 组对比测试中,WarpParse 均取得领先。解析场景下平均领先 3.7x - 11.9x,解析+转换场景下领先 1.4x - 11.3x
  2. 算力利用率: WarpParse 倾向于“以算力换吞吐“,CPU 占用率普遍高于 Vector,但换来了数倍的处理能力。例如在 Sysmon 解析中,WarpParse 用 1.8 倍的 CPU 换取了 Vector 5.7 倍的吞吐。
  3. 大日志处理: 在 APT (3K) 这种大体积日志场景下,WarpParse 展现出极强的稳定性,MPS 达到 1062 MiB/s,接近千兆处理能力,而 Vector 在该场景下吞吐下降明显。

4.2 规则与维护成本

优势分析:

  • 规则体积更小: 同等语义下,WarpParse 的 WPL/OML 规则体积显著小于 Vector 的 VRL 脚本。
    • Nginx: 174B (WarpParse) vs 416B (Vector)
    • APT: 985B (WarpParse) vs 1759B (Vector)
  • 维护性: 更小的规则体积意味着更快的网络分发速度、更短的冷启动时间,这在边缘计算或大规模 Agent 下发场景中至关重要。

4.3 稳定性

  • 在整个高压测试过程中,WarpParse 保持了极高的吞吐稳定性,未观察到显著的 Backpressure(背压)导致的处理崩塌。
  • 注意点: 在 TCP -> File 的端到端场景中,WarpParse 的内存占用在部分大包场景下会有所上升(如 APT 场景达到 1GB+),这与其为了维持高吞吐而使用的缓冲策略有关。

5. 总结与建议

决策维度建议方案理由
追求极致性能WarpParse无论是小包高频还是大包吞吐,WarpParse 均提供 5-10倍 的性能红利。
资源受限环境WarpParse尽管峰值 CPU 较高,但完成同等数据量所需的总 CPU 时间远少于 Vector;且小包场景内存控制优异。
边缘/Agent部署WarpParse规则文件极小,便于快速热更新;单机处理能力强,减少对中心端的压力。
通用生态兼容WarpParse提供面向开发者的 API 与插件扩展机制,支持用户快速开发自定义输入 / 输出模块;在满足性能要求的同时,也具备良好的生态扩展能力。

结论: 对于专注于日志分析、安全事件处理(SIEM/SOC)、以及对实时性有苛刻要求的 ETL 场景,WarpParse 是优于 Vector 的选择。它通过更高效的 Rust 实现和专用的 WPL/OML 语言,成功打破了通用 ETL 工具的性能天花板。