VLM Inference Benchmark Explorer
Qwen3.5-0.8B op DGX Spark — BF16, vLLM vision-language-inferentiebenchmark
Deze configuratie openen in de VLM Inference Benchmark Explorer
| Model | Qwen3.5-0.8B |
|---|---|
| Parameters | 0.9B |
| Apparaat | DGX Spark |
| Kwantisatie | BF16 |
| Beeldformaat | 720p |
| Beelden per camera | 1 |
| Max. camera's (respons ≤ 3 s) | 128 |
| Engine | vLLM |
| Camera's | Respons (s) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 0.08 | 115.3 | ≤3 s |
| 2 | 0.10 | 123.8 | ≤3 s |
| 4 | 0.16 | 113.7 | ≤3 s |
| 8 | 0.29 | 98.3 | ≤3 s |
| 16 | 0.50 | 75.8 | ≤3 s |
| 32 | 0.84 | 51.2 | ≤3 s |
| 64 | 1.17 | 28.4 | ≤3 s |
| 128 | 2.09 | 15.1 | ≤3 s |
| 256 | 4.89 | 8.1 | >3 s |
| 384 | 13.5 | 7.0 | >3 s |
| 416 | 15.8 | 6.9 | >3 s |
| 448 | — | — | Mislukt |
| Beelden per verzoek | Respons (s) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 0.08 | 115.3 | ≤3 s |
| 2 | 0.14 | 114.7 | ≤3 s |
| 4 | 0.26 | 113.3 | ≤3 s |
| 8 | 0.51 | 110.7 | ≤3 s |
| 16 | 1.04 | 107.2 | ≤3 s |
| 32 | 2.19 | 99.1 | ≤3 s |
| 64 | 4.92 | 86.9 | >3 s |
| 128 | 12.1 | 69.5 | >3 s |
| 256 | — | — | Mislukt |
Qwen3.5-0.8B (0.9B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 0.08 s te antwoorden en schrijft daarna 115.3 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 12.12 s. Met één beeld op 2K na 0.34 s.
Bij het standaarddoel van een antwoord dat binnen 3 s begint (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.
Qwen3.5-0.8B (0.9B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 0.08 s te antwoorden en schrijft daarna 115.3 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 12.12 s. Met één beeld op 2K na 0.34 s.
Bij het standaarddoel van een antwoord dat binnen 3 s begint (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.