VLM Inference Benchmark Explorer
Gemma-4-31B-it op DGX Spark — BF16, vLLM vision-language-inferentiebenchmark
Deze configuratie openen in de VLM Inference Benchmark Explorer
| Model | Gemma-4-31B-it |
|---|---|
| Parameters | 31B |
| Apparaat | DGX Spark |
| Kwantisatie | BF16 |
| Beeldformaat | 720p |
| Beelden per camera | 1 |
| Max. camera's (respons ≤ 3 s) | 8 |
| Engine | vLLM |
| Camera's | Respons (s) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 0.78 | 3.8 | ≤3 s |
| 2 | 1.11 | 3.7 | ≤3 s |
| 4 | 1.31 | 3.6 | ≤3 s |
| 8 | 1.92 | 3.4 | ≤3 s |
| 16 | 4.00 | 3.3 | >3 s |
| 32 | 5.44 | 2.6 | >3 s |
| 64 | 9.47 | 2.0 | >3 s |
| 72 | — | — | Mislukt |
| Beelden per verzoek | Respons (s) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 0.78 | 3.8 | ≤3 s |
| 2 | 1.09 | 3.8 | ≤3 s |
| 4 | 1.98 | 3.8 | ≤3 s |
| 8 | 3.99 | 3.8 | >3 s |
| 16 | 8.77 | 3.7 | >3 s |
| 32 | 20.7 | 3.7 | >3 s |
| 64 | 57.8 | 3.7 | >3 s |
| 128 | 228.0 | 3.6 | >3 s |
| 256 | — | — | Mislukt |
Gemma-4-31B-it (31B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 0.78 s te antwoorden en schrijft daarna 3.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 228.04 s. Met één beeld op 2K na 0.74 s.
Bij het standaarddoel van een antwoord dat binnen 3 s begint (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Gemma-4-31B-it (31B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 0.78 s te antwoorden en schrijft daarna 3.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 228.04 s. Met één beeld op 2K na 0.74 s.
Bij het standaarddoel van een antwoord dat binnen 3 s begint (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.