江中智能助手 · 并发压测
验证目标
- 验证内容：
qwen-9b经模型网关进行非流式和流式对话时，分别在 60 秒、30 秒客户端等待时限下，连续两波请求全部成功的最高客户端并发。
环境与参数
- 模型：
qwen-9b。 - 显卡：NVIDIA RTX 5060 Ti 16GB。
- 共同参数：非流式与流式的
max_tokens均为 512，关闭思考模式；压测记录中的 vLLM 并发为 8，每次推送 8 个请求。 - 对话方式：非流式为
stream=false，流式为stream=true；两种方式均按 30 秒和 60 秒客户端超时分别记录。
指标口径
- 最高全成功并发：连续两波请求全部成功的最高客户端并发；出现超时、HTTP 错误、空回复或网络错误即判该档失败。
- 成功数、超时、HTTP 错误：分别记录成功返回数、客户端超时数和 HTTP 错误数。
- p50、p95、最慢：请求完整响应耗时的分位数和最大耗时，仅统计成功返回内容的请求；流式结果同样按完整响应耗时统计，不是首字延迟。p50 表示一半成功请求不慢于该值，p95 表示 95% 不慢于该值。
- 成功请求/秒：该档成功请求数除以该档压测总耗时。
测试过程
- 非流式：两次测试的模型和服务端参数相同，仅客户端超时时间不同，分别为 60 秒和 30 秒。
- 流式：分别设置 60 秒和 30 秒客户端超时；每档最多两波，某档未全成功便停止继续提高并发。
- 跨模式对照：按对话方式和客户端超时时间分别记录结果。
结果
非流式 · 客户端超时 60 秒
| 并发 | 结果 | 成功 | 超时 | HTTP 错误 | p50 | p95 | 最慢 | 成功请求/秒 |
|---|---|---|---|---|---|---|---|---|
| 256 | 通过 | 512/512 | 0 | 0 | 17.7 秒 | 32.9 秒 | 34.5 秒 | 7.44 |
| 384 | 通过 | 768/768 | 0 | 0 | 27.8 秒 | 50.0 秒 | 54.2 秒 | 7.33 |
| 448 | 通过 | 896/896 | 0 | 0 | 30.4 秒 | 56.5 秒 | 59.3 秒 | 7.55 |
| 456 | 通过 | 912/912 | 0 | 0 | 30.6 秒 | 56.8 秒 | 59.8 秒 | 7.64 |
| 457 | 失败（仅完成一波） | 455/457 | 2 | 0 | 30.7 秒 | 57.1 秒 | 59.9 秒 | 7.58 |
非流式 · 客户端超时 30 秒
| 并发 | 结果 | 成功 | 超时 | HTTP 错误 | p50 | p95 | 最慢 | 成功请求/秒 |
|---|---|---|---|---|---|---|---|---|
| 128 | 通过 | 256/256 | 0 | 0 | 9.2 秒 | 16.8 秒 | 17.5 秒 | 7.34 |
| 192 | 通过 | 384/384 | 0 | 0 | 13.7 秒 | 25.0 秒 | 26.2 秒 | 7.35 |
| 216 | 通过 | 432/432 | 0 | 0 | 15.1 秒 | 27.7 秒 | 29.0 秒 | 7.45 |
| 222 | 通过 | 444/444 | 0 | 0 | 15.3 秒 | 28.3 秒 | 29.6 秒 | 7.49 |
| 223 | 通过 | 446/446 | 0 | 0 | 15.5 秒 | 28.5 秒 | 29.8 秒 | 7.47 |
| 224 | 失败（仅完成一波） | 222/224 | 2 | 0 | 15.4 秒 | 28.4 秒 | 29.8 秒 | 7.39 |
| 256 | 失败（仅完成一波） | 221/256 | 35 | 0 | 15.5 秒 | 28.4 秒 | 29.8 秒 | 7.35 |
流式 · 客户端超时 60 秒
| 并发 | 结果 | 成功 | 超时 | HTTP 错误 | p50 | p95 | 最慢 | 成功请求/秒 |
|---|---|---|---|---|---|---|---|---|
| 256 | 通过 | 512/512 | 0 | 0 | 17.8 秒 | 32.9 秒 | 34.7 秒 | 7.43 |
| 384 | 通过 | 768/768 | 0 | 0 | 26.1 秒 | 48.7 秒 | 51.1 秒 | 7.52 |
| 444 | 通过 | 888/888 | 0 | 0 | 30.5 秒 | 56.5 秒 | 59.7 秒 | 7.50 |
| 446 | 通过 | 892/892 | 0 | 0 | 30.7 秒 | 56.8 秒 | 59.7 秒 | 7.49 |
| 447 | 失败（仅完成一波） | 444/447 | 3 | 0 | 31.4 秒 | 57.2 秒 | 59.8 秒 | 7.40 |
流式 · 客户端超时 30 秒
| 并发 | 结果 | 成功 | 超时 | HTTP 错误 | p50 | p95 | 最慢 | 成功请求/秒 |
|---|---|---|---|---|---|---|---|---|
| 128 | 通过 | 256/256 | 0 | 0 | 9.4 秒 | 17.2 秒 | 17.8 秒 | 7.21 |
| 192 | 通过 | 384/384 | 0 | 0 | 13.8 秒 | 25.1 秒 | 26.4 秒 | 7.28 |
| 216 | 通过 | 432/432 | 0 | 0 | 15.2 秒 | 28.1 秒 | 29.4 秒 | 7.36 |
| 220 | 通过 | 440/440 | 0 | 0 | 15.5 秒 | 28.4 秒 | 29.8 秒 | 7.41 |
| 221 | 通过 | 442/442 | 0 | 0 | 15.5 秒 | 28.5 秒 | 29.8 秒 | 7.43 |
| 222 | 失败（仅完成一波） | 221/222 | 1 | 0 | 15.5 秒 | 28.7 秒 | 29.9 秒 | 7.36 |
结论
- 非流式：客户端超时 60 秒时最高全成功并发为 456，30 秒时为 223；下一档 457 和 224 分别出现客户端超时。
- 流式：客户端超时 60 秒时最高全成功并发为 446，30 秒时为 221；下一档 447 和 222 分别出现客户端超时。
- 对比条件：两组
max_tokens均为 512，关闭思考模式。
适用范围
- 适用范围：以上数据对应本次测试使用的机器、
qwen-9b模型、网关与推理配置，以及表中所列的对话方式和客户端超时时间。