VLM Inference Benchmark Explorer
Hoeveel camera’s kan dit apparaat met dit vision-languagemodel volgen? Kies het beeldformaat dat uw camera’s sturen en stel in hoe lang een camera op zijn antwoord mag wachten; de tabel wordt bijgewerkt voor elke configuratie die we hebben gemeten. Open een rij om de metingen voor elk aantal camera’s, de toelichting op de resultaten en een grafiek te zien.
Hoe u de benchmark-explorer gebruikt
Wat een rij is
Een rij is één deploymentconfiguratie: een vision-languagemodel, op specifieke hardware, in een specifiek getalformaat, geserveerd door een specifieke engine, van begin tot eind gemeten. Hetzelfde model staat daarom in meerdere rijen, en twee rijen zijn pas direct vergelijkbaar als u weet welke van die instellingen tussen hen verschillen.
Filters en het doel hebben een andere taak
Filters bepalen welke rijen u ziet. De filters voor apparaat, model, aantal parameters, kwantisatie en engine, en de schuifregelaar voor de TTFT, tonen of verbergen alleen rijen.
Het doel en de aanname bepalen wat de getallen zeggen. Ze staan onder Prestatiedoel en aannames. Als u er een wijzigt, blijven de rijen staan, maar worden Max. camera’s en de groene en rode kleuring van elke rij opnieuw berekend.
1. Beschrijf uw camera’s
Twee keuzeknoppen beschrijven de workload, en elk getal in de tabel wordt bij die keuzes afgelezen:
- Camera’s — hoeveel camera’s op hetzelfde moment verzoeken sturen. Dit is de gelijktijdigheid (concurrency) waarbij het systeem is gemeten.
- Beeldformaat — het formaat van elk beeld dat een camera stuurt: 480p, 720p, 1080p of 2K.
Rijen die bij de gekozen combinatie niet zijn gemeten, worden verborgen, en gedimde knoppen markeren combinaties zonder meting. Meerdere camera’s zijn gemeten bij 480p, 720p en 1080p; 2K alleen met één camera.
2. Verfijnen en sorteren
Filters werken samen en elke kolom is sorteerbaar. De leerzaamste vergelijkingen veranderen één instelling: één model in twee kwantisaties op één apparaat, hetzelfde model onder llama.cpp en vLLM, of één model op twee apparaten.
3. Stel uw doel in
Het doel is hoe lang een camera maximaal mag wachten tot zijn antwoord begint — standaard 3000 ms. Een gemiddelde TTFT die precies op het doel ligt, slaagt.
Ernaast bepaalt Beelden per camera hoeveel beelden elk verzoek meestuurt: standaard één momentopname, of meerdere frames van dezelfde camera samen, zoals video vaak naar een vision-languagemodel wordt gestuurd. Meerdere beelden per verzoek zijn alleen met één camera gemeten, dus met meer dan één beeld kan Max. camera’s niet hoger zijn dan 1.
4. Lees Max. camera’s af
Max. camera’s is het hoogste gemeten aantal camera’s waarbij de gemiddelde TTFT van hun verzoeken binnen uw doel blijft. Een plus — 16+ — betekent dat de configuratie het doel haalde, zelfs bij het hoogste aantal waarmee ze is getest, dus het werkelijke maximum is niet bereikt. “>3000 ms” — uw doel — betekent dat zelfs één camera niet op tijd antwoord krijgt.
5. Open een rij
Klik op een rij om het volgende te zien:
- links, de metingen bij uw beeldformaat en aantal beelden voor elk getest aantal camera’s, gemarkeerd als “≤3000 ms” of “>3000 ms” ten opzichte van uw doel, en waar de cameralimiet is gemeten afgesloten met het aantal camera’s dat mislukte, en daaronder hetzelfde voor het aantal beelden in één verzoek, met één camera;
- rechts, de resultaten in gewone taal toegelicht, bij de standaardinstellingen;
- daaronder, een grafiek van de TTFT naarmate er camera’s bijkomen, één lijn per beeldformaat, met uw doel als stippellijn. Die verschijnt waar meerdere camera’s zijn gemeten, dus met één beeld per camera.
De grafiek kan als PNG worden gedownload voor rapporten en presentaties.
Waar te beginnen
“Hoeveel camera’s kan één Jetson AGX Orin 32GB volgen?” Kies het apparaat, stel het beeldformaat in dat uw camera’s sturen en lees Max. camera’s af. Om alleen de configuraties te zien die het bijhouden, kiest u het aantal camera’s dat u nodig hebt en zet u Max. TTFT op uw doel.
“Is 1080p de moeite waard?” Wissel van beeldformaat en kijk naar Max. camera’s, of open een rij: de grafiek heeft één lijn per beeldformaat.
“Wat veranderen kwantisatie en de engine?” Houd model en apparaat vast en vergelijk de rijen die in die ene instelling verschillen: Qwen3-VL-8B-Instruct in Q8_0 en Q4_K_M op Jetson AGX Orin 32GB, of Qwen3-VL-4B-Instruct onder llama.cpp en vLLM op RTX PRO 6000. Door het aantal camera’s te wijzigen, ziet u hoe het verschil zich onder belasting ontwikkelt.
“We hebben deze hardware al; wat kunnen we erop draaien?” Begin met het apparaatfilter, sorteer de overgebleven modellen op grootte of op Max. camera’s, en verfijn met de TTFT of het aantal camera’s dat u nodig hebt.
Wat de getallen betekenen en hoe ze worden berekend
Hoe de getallen zijn gemeten
Elk verzoek bevat één of meer foto’s en de prompt Describe the scene., en vraagt om maximaal 128 tokens. De foto’s zijn zestien vaste afbeeldingen, die om beurten over de verzoeken worden verdeeld en geschaald naar 854×480 (480p), 1280×720 (720p), 1920×1080 (1080p) en 2560×1440 (2K), en als base64-beelden via de OpenAI-compatibele chat-API worden verstuurd. Hugging Face-checkpoints werden geserveerd met vLLM en GGUF-bestanden met llama.cpp.
Elke combinatie van beeldformaat, beelden per verzoek en aantal camera’s wordt afzonderlijk gemeten, na een opwarmronde die wordt weggegooid. De waarden zijn gemiddelden van de voltooide verzoeken; een verzoek dat tijdens de benchmark mislukte, telt niet mee in het gemiddelde en niet tegen een configuratie.
- Meerdere camera’s zijn gemeten met één beeld per verzoek bij 480p, 720p en 1080p: 1, 2 en 4 camera’s op Jetson Orin NX 16GB (tot 8 voor één configuratie), tot 8 op Jetson AGX Orin 32GB en de Developer Kit daarvan, en tot 16 op RTX PRO 6000, Jetson AGX Thor en DGX Spark, met 8 verzoeken per niveau op een Jetson Orin en 24 op de andere, en nooit meer camera’s tegelijk in behandeling dan het niveau. De Jetson Orin-configuraties die met llama.cpp b11690 zijn geserveerd, zijn gemeten bij 1, 2, 4 en 8 camera’s met 24 verzoeken per niveau.
- Eén camera is gemeten bij alle vier formaten met één, drie en vijf beelden per verzoek (1, 2, 4, 8, 16 en 32 op Jetson AGX Thor en DGX Spark, en voor de Jetson Orin-configuraties die met llama.cpp b11690 zijn geserveerd), telkens 5 verzoeken (3 voor één configuratie). 2K en meerdere beelden per verzoek zijn alleen zo gemeten.
- De cameralimiet is gemeten op Jetson AGX Thor en DGX Spark, bij 720p met één beeld per camera: 16, 32, 64 en meer camera’s, twee verzoeken per camera, tot een verzoek binnen 30 seconden geen begonnen antwoord had; daarna is het bereik tussen het laatste geslaagde en het eerste mislukte aantal gehalveerd tot het hoogstens een achtste van het geslaagde aantal was (minstens 4 camera’s). De server was zo ingesteld dat hij het verzoek van elke camera tegelijk aannam. Een verzoek met een leeg antwoord telde niet als mislukt.
- De beeldlimiet is gemeten op Jetson AGX Thor en DGX Spark, bij 720p met één camera: 64, 128, 256, 512 en 1024 beelden per verzoek, telkens 3 verzoeken, tot een verzoek mislukte — te lang voor het model, of geen antwoord binnen 600 s.
Een token is de eenheid die een model leest en schrijft, ongeveer driekwart van een Engels woord. Ook een beeld wordt als tokens gelezen, en een groter beeld wordt er meer.
TTFT — time to first token
TTFT (time to first token) is hoe lang een camera wacht tot zijn antwoord begint, in milliseconden; de tabel toont het gemiddelde over de gemeten verzoeken. Bij een vision-languagemodel is dat vooral het lezen van de beelden, dus het groeit met hun formaat en aantal, en met het aantal camera’s dat het apparaat deelt. Hoeveel het met het formaat groeit, hangt af van het model: sommige zetten elk beeld om in een vast aantal tokens, andere in meer tokens naarmate er meer pixels zijn. Lager is beter.
TPS (tokens per seconde) is hoe snel het antwoord daarna per camera wordt geschreven. Het hangt nauwelijks van het beeld af en wordt ter informatie getoond: Max. camera’s wordt bepaald door de TTFT. Een lang antwoord voegt zijn schrijftijd daar nog aan toe — 128 tokens bij 25 tokens per seconde duren ongeveer vijf seconden langer.
Max. camera’s: het aantal camera’s is de gelijktijdigheid
Een camera stuurt zijn volgende verzoek zodra het vorige is beantwoord, dus hij heeft altijd precies één verzoek in behandeling. Het aantal gelijktijdige verzoeken is daarom het aantal camera’s.
Max. camera’s is het hoogste gemeten aantal camera’s waarbij de gemiddelde TTFT uw doel haalt. Alleen gemeten aantallen tellen, er wordt niets geïnterpoleerd, en als geen enkel aantal slaagt, staat uw doel in de cel: “>3000 ms”. Ze hangt af van uw doel en beweegt mee: bij 720p met één beeld per camera houdt Cosmos3-Edge op Jetson AGX Orin 32GB bij een doel van 1000 ms 2 camera’s bij en 8 — het hoogste gemeten aantal, dus 8+ — bij 3000 ms.
Max. beelden per verzoek leest u op dezelfde manier voor de beelden die één camera in één verzoek stuurt: het hoogste aantal dat uw doel nog haalt. Een geopende rij geeft ook de limieten van de configuratie, los van uw doel — de hierboven beschreven camera- en beeldlimiet: het hoogste aantal camera’s, en het hoogste aantal beelden in één verzoek, dat nog werkte voordat een verzoek mislukte, en het aantal dat mislukte. Waar niet naar een limiet is gezocht, staat tot hoever er is gemeten. Op Jetson AGX Thor en DGX Spark gaat ook Max. camera’s voorbij 16, tot de cameralimiet.
De kolommen die de opzet beschrijven
Parameters — het gepubliceerde totale aantal gewichten van het model, inclusief de beeldencoder. Bij een mixture-of-expertsmodel is dit het totaal, niet het deel dat per token actief is, omdat alles in het geheugen wordt gehouden.
Kwantisatie — het getalformaat waarin de gewichten zijn opgeslagen. BF16 is volledige precisie, FP8 gebruikt 8 bits en NVFP4 4 bits. Q8_0, Q4_K_M en Q4_0 zijn GGUF-formaten voor llama.cpp met ongeveer 8 en 4 bits per gewicht. Minder bits betekent minder geheugen en meestal meer snelheid, met enig risico voor de kwaliteit.
Engine — de serversoftware die het model laadt en verzoeken inplant. Ze beïnvloedt de snelheid net zoveel als de hardware. Qwen3-VL-4B-Instruct op RTX PRO 6000 begint bij 720p een enkele camera te antwoorden na 247 ms onder llama.cpp (Q8_0) en na 164 ms onder vLLM (BF16); bij 16 camera’s is het verschil 1094 ms tegen 461 ms.
Apparaat — Jetson Orin NX 16GB en Jetson AGX Orin 32GB zijn embedded modules waarvan CPU en GPU één geheugen delen. Beide modules bestaan ook met andere geheugengroottes, daarom staat de gemeten grootte in de naam. Jetson AGX Orin 32GB Developer Kit is de ontwikkelkit met een eigen module van 32 GB en staat los van de productiemodule. Ook Jetson AGX Thor (ontwikkelkit) en DGX Spark delen één geheugen tussen CPU en GPU, elk 128 GB. RTX PRO 6000 Blackwell is een werkstation-GPU met 96 GB, gemeten in de Workstation-editie van 600 W en de Max- Q-editie van 300 W.
Wat de getallen u niet vertellen
De tabel gebruikt één vaste workload — voorbeeldfoto’s, een korte prompt, antwoorden van maximaal 128 tokens — en gemiddelde waarden, zodat configuraties zonder locatieonderzoek kunnen worden vergeleken. Ze is geen vervanging voor een test met uw eigen camera’s en prompts: andere beeldinhoud, langere prompts of antwoorden, andere engine-instellingen en de traagste verzoeken in plaats van het gemiddelde veranderen allemaal de werkelijke capaciteit. De TTFT is de wachttijd tot het antwoord begint; een toepassing die het hele antwoord nodig heeft, wacht ook op de schrijftijd, en een rij die alleen met één camera is gemeten, zegt niets over hoe die zich met meerdere gedraagt.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 7,681 ms (time to first token, TTFT) te antwoorden en schrijft daarna 12 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 37,755 ms. Met één beeld op 1080p na 23,305 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 2,020 ms (time to first token, TTFT) te antwoorden en schrijft daarna 30.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 9,935 ms. Met één beeld op 1080p na 5,448 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 6,872 ms (time to first token, TTFT) te antwoorden en schrijft daarna 11.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 34,194 ms. Met één beeld op 1080p na 21,752 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
d1-3B (3.1B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 2,365 ms (time to first token, TTFT) te antwoorden en schrijft daarna 20.8 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 76,330 ms. Met één beeld op 2K na 6,961 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Gemma-4-E2B-it (5.1B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 1,379 ms (time to first token, TTFT) te antwoorden en schrijft daarna 29.8 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 6,306 ms. Met één beeld op 1080p na 3,430 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Gemma-4-E4B-it (8.0B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 1,856 ms (time to first token, TTFT) te antwoorden en schrijft daarna 17.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 8,315 ms. Met één beeld op 1080p na 4,451 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
GLM-4.6V-Flash (10B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 6,953 ms (time to first token, TTFT) te antwoorden en schrijft daarna 9.7 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 124,356 ms. Met één beeld op 2K na 39,024 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Granite-Vision-4.1-4B (4.0B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 4,358 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.4 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 84,981 ms. Met één beeld op 2K na 4,521 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
LensVLM-9B (9.4B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 7,200 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 230,062 ms. Met één beeld op 2K na 56,130 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
LFM2.5-VL-3B (3.1B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 2,353 ms (time to first token, TTFT) te antwoorden en schrijft daarna 20.7 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 76,152 ms. Met één beeld op 2K na 6,950 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
MiMo-V2.6-Distill-Qwen-9B (9.4B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 7,204 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10.2 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 230,328 ms. Met één beeld op 2K na 56,161 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
MiniCPM-V-4.6 (1.3B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 1,943 ms (time to first token, TTFT) te antwoorden en schrijft daarna 43 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 62,045 ms. Met één beeld op 2K na 2,619 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
MiniCPM-V-4.7-1B (1.6B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 4,264 ms (time to first token, TTFT) te antwoorden en schrijft daarna 42.7 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 69,995 ms. Met één beeld op 2K na 5,616 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen-Drive-1.0-4B (4.5B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 3,354 ms (time to first token, TTFT) te antwoorden en schrijft daarna 11.8 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 105,020 ms. Met één beeld op 2K na 19,483 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in FP8-formaat met vLLM op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 1,668 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.2 tok/s.
Met 3 beelden per camera op 720p begint het antwoord na 4,004 ms. Met één beeld op 1080p na 4,345 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 3,037 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.3 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 14,623 ms. Met één beeld op 2K na 18,387 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 6,916 ms (time to first token, TTFT) te antwoorden en schrijft daarna 11.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 34,431 ms. Met één beeld op 1080p na 21,785 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3.5-0.8B (0.9B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 970 ms (time to first token, TTFT) te antwoorden en schrijft daarna 43.2 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 31,751 ms. Met één beeld op 2K na 6,497 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3.5-2B (2.3B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 2,094 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.5 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 66,468 ms. Met één beeld op 2K na 15,226 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Qwen3.5-4B (4.7B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 3,715 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 17,250 ms. Met één beeld op 1080p na 8,480 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3.5-9B (9.7B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson Orin NX 16GB, begint één camera die één 720p-beeld stuurt na 7,216 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 231,047 ms. Met één beeld op 2K na 56,353 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 3,211 ms (time to first token, TTFT) te antwoorden en schrijft daarna 26.7 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 15,842 ms. Met één beeld op 2K na 18,623 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 952 ms (time to first token, TTFT) te antwoorden en schrijft daarna 57.8 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 4,449 ms. Met één beeld op 2K na 7,073 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,710 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 13,211 ms. Met één beeld op 2K na 20,513 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Cosmos3-Edge (3.9B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 510 ms (time to first token, TTFT) te antwoorden en schrijft daarna 45.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 2,106 ms. Met één beeld op 2K na 2,713 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 8 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
d1-3B (3.1B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,087 ms (time to first token, TTFT) te antwoorden en schrijft daarna 39.9 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 32,783 ms. Met één beeld op 2K na 3,110 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
Gemma-4-26B-A4B-it (26B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,341 ms (time to first token, TTFT) te antwoorden en schrijft daarna 32.7 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 10,783 ms. Met één beeld op 2K na 9,941 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Gemma-4-E4B-it (8.0B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 864 ms (time to first token, TTFT) te antwoorden en schrijft daarna 34.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 3,582 ms. Met één beeld op 2K na 2,551 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
GLM-4.6V-Flash (10B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,933 ms (time to first token, TTFT) te antwoorden en schrijft daarna 16.1 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 50,586 ms. Met één beeld op 2K na 15,550 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Granite-Vision-4.1-4B (4.0B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,869 ms (time to first token, TTFT) te antwoorden en schrijft daarna 28.8 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 34,306 ms. Met één beeld op 2K na 2,043 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
LensVLM-9B (9.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,733 ms (time to first token, TTFT) te antwoorden en schrijft daarna 17.5 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 83,447 ms. Met één beeld op 2K na 20,206 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
LFM2.5-VL-3B (3.1B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,081 ms (time to first token, TTFT) te antwoorden en schrijft daarna 39.7 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 32,663 ms. Met één beeld op 2K na 3,106 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
MiMo-V2.6-Distill-Qwen-9B (9.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,804 ms (time to first token, TTFT) te antwoorden en schrijft daarna 17.5 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 85,598 ms. Met één beeld op 2K na 20,413 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
MiniCPM-V-4.6 (1.3B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,116 ms (time to first token, TTFT) te antwoorden en schrijft daarna 73.2 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 33,197 ms. Met één beeld op 2K na 1,540 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
MiniCPM-V-4.7-1B (1.6B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,922 ms (time to first token, TTFT) te antwoorden en schrijft daarna 76.8 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 30,405 ms. Met één beeld op 2K na 2,587 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
MiniCPM-V-4.7-35B-A3B (35B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 3,546 ms (time to first token, TTFT) te antwoorden en schrijft daarna 34.8 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 56,672 ms. Met één beeld op 2K na 4,844 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen-Drive-1.0-4B (4.5B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,488 ms (time to first token, TTFT) te antwoorden en schrijft daarna 24 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 42,941 ms. Met één beeld op 2K na 8,678 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,313 ms (time to first token, TTFT) te antwoorden en schrijft daarna 28.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 6,400 ms. Met één beeld op 2K na 8,315 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,746 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 13,242 ms. Met één beeld op 2K na 20,613 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,636 ms (time to first token, TTFT) te antwoorden en schrijft daarna 19.1 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 13,189 ms. Met één beeld op 2K na 20,481 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Qwen3.5-0.8B (0.9B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 530 ms (time to first token, TTFT) te antwoorden en schrijft daarna 76.9 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 14,854 ms. Met één beeld op 2K na 3,064 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
Qwen3.5-27B (27B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 6,430 ms (time to first token, TTFT) te antwoorden en schrijft daarna 6.8 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 203,226 ms. Met één beeld op 1080p na 15,939 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3.5-2B (2.3B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 950 ms (time to first token, TTFT) te antwoorden en schrijft daarna 47.6 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 28,006 ms. Met één beeld op 2K na 6,986 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
Qwen3.5-35B-A3B (35B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,809 ms (time to first token, TTFT) te antwoorden en schrijft daarna 30.5 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 86,682 ms. Met één beeld op 1080p na 7,931 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Qwen3.5-4B (4.7B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 1,568 ms (time to first token, TTFT) te antwoorden en schrijft daarna 33.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 7,143 ms. Met één beeld op 2K na 9,038 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3.5-9B (9.7B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 2,751 ms (time to first token, TTFT) te antwoorden en schrijft daarna 17.6 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 83,972 ms. Met één beeld op 2K na 20,194 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Qwen3.6-27B (27B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB Developer Kit, begint één camera die één 720p-beeld stuurt na 5,684 ms (time to first token, TTFT) te antwoorden en schrijft daarna 7.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 184,288 ms. Met één beeld op 1080p na 14,110 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos3-Edge (3.9B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000 Max-Q, begint één camera die één 720p-beeld stuurt na 88 ms (time to first token, TTFT) te antwoorden en schrijft daarna 310.3 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 343 ms. Met één beeld op 2K na 432 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos3-Nano (16B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000 Max-Q, begint één camera die één 720p-beeld stuurt na 136 ms (time to first token, TTFT) te antwoorden en schrijft daarna 88 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 739 ms. Met één beeld op 2K na 746 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 252 ms (time to first token, TTFT) te antwoorden en schrijft daarna 98.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 708 ms. Met één beeld op 2K na 613 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 109 ms (time to first token, TTFT) te antwoorden en schrijft daarna 318.3 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 562 ms. Met één beeld op 2K na 495 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 148 ms (time to first token, TTFT) te antwoorden en schrijft daarna 92.5 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 750 ms. Met één beeld op 2K na 680 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Eagle2.5-8B (8.1B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 258 ms (time to first token, TTFT) te antwoorden en schrijft daarna 105 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 1,352 ms. Met één beeld op 2K na 418 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Gemma-4-31B-it (31B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 235 ms (time to first token, TTFT) te antwoorden en schrijft daarna 24.7 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 702 ms. Met één beeld op 2K na 316 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Gemma-4-31B-it (31B parameters), geserveerd in NVFP4-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 271 ms (time to first token, TTFT) te antwoorden en schrijft daarna 45.1 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 579 ms. Met één beeld op 2K na 305 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Llama-3.1-Nemotron-Nano-VL-8B (8.7B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 292 ms (time to first token, TTFT) te antwoorden en schrijft daarna 94.9 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 1,786 ms. Met één beeld op 2K na 486 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
MedGemma-1.5-4B-it (4.3B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 199 ms (time to first token, TTFT) te antwoorden en schrijft daarna 171.5 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 447 ms. Met één beeld op 2K na 249 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Nemotron-Nano-12B-v2-VL (13B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 197 ms (time to first token, TTFT) te antwoorden en schrijft daarna 68.5 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 777 ms. Met één beeld op 2K na 612 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3-VL-30B-A3B-Instruct (30B parameters), geserveerd in FP8-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 161 ms (time to first token, TTFT) te antwoorden en schrijft daarna 194.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 1,041 ms. Met één beeld op 2K na 581 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 164 ms (time to first token, TTFT) te antwoorden en schrijft daarna 156.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 640 ms. Met één beeld op 2K na 559 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 247 ms (time to first token, TTFT) te antwoorden en schrijft daarna 231.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 761 ms. Met één beeld op 2K na 944 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in BF16-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 230 ms (time to first token, TTFT) te antwoorden en schrijft daarna 92.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 761 ms. Met één beeld op 2K na 684 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q8_0-formaat met llama.cpp op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 329 ms (time to first token, TTFT) te antwoorden en schrijft daarna 153.8 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 1,037 ms. Met één beeld op 2K na 1,788 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3.6-35B-A3B (35B parameters), geserveerd in FP8-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 212 ms (time to first token, TTFT) te antwoorden en schrijft daarna 220.8 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 844 ms. Met één beeld op 2K na 586 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3.6-35B-A3B (35B parameters), geserveerd in NVFP4-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 221 ms (time to first token, TTFT) te antwoorden en schrijft daarna 282.9 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 841 ms. Met één beeld op 2K na 798 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Qwen3.8-27B (27B parameters), geserveerd in FP8-formaat met vLLM op RTX PRO 6000, begint één camera die één 720p-beeld stuurt na 293 ms (time to first token, TTFT) te antwoorden en schrijft daarna 50 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 1,014 ms. Met één beeld op 2K na 906 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 4,370 ms (time to first token, TTFT) te antwoorden en schrijft daarna 20.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 21,756 ms. Met één beeld op 2K na 25,557 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 1,348 ms (time to first token, TTFT) te antwoorden en schrijft daarna 44.4 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 6,261 ms. Met één beeld op 2K na 9,690 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 4,001 ms (time to first token, TTFT) te antwoorden en schrijft daarna 18.8 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 19,836 ms. Met één beeld op 2K na 31,764 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Cosmos3-Edge (3.9B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 684 ms (time to first token, TTFT) te antwoorden en schrijft daarna 42.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 2,956 ms. Met één beeld op 2K na 3,951 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 8 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Gemma-4-26B-A4B-it (26B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 3,587 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.1 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 24,097 ms. Met één beeld op 2K na 15,438 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Gemma-4-E4B-it (8.0B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 1,183 ms (time to first token, TTFT) te antwoorden en schrijft daarna 26.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 5,127 ms. Met één beeld op 2K na 3,432 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 1,832 ms (time to first token, TTFT) te antwoorden en schrijft daarna 23.2 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 8,888 ms. Met één beeld op 2K na 11,276 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 4,000 ms (time to first token, TTFT) te antwoorden en schrijft daarna 18.6 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 19,933 ms. Met één beeld op 2K na 31,702 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in Q8_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 3,868 ms (time to first token, TTFT) te antwoorden en schrijft daarna 17 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 19,204 ms. Met één beeld op 2K na 31,317 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.
Qwen3.5-4B (4.7B parameters), geserveerd in Q4_K_M-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 2,210 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.3 tok/s.
Met 5 beelden per camera op 720p begint het antwoord na 10,385 ms. Met één beeld op 2K na 12,483 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Alpamayo2-Edge (2.7B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 136 ms (time to first token, TTFT) te antwoorden en schrijft daarna 101.2 tok/s.
Met 512 beelden per camera op 720p begint het antwoord na 46,217 ms. Met één beeld op 2K na 229 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.
Alpamayo2-Edge is een rijmodel: uit zes camera's (22 frames), de recente beweging van het voertuig en een navigatie-instructie schrijft het een korte causaliteitsketen (chain of causation) en plant het zes kandidaat-trajecten. De tabel hierboven meet alleen het vision-language-deel, geserveerd met vLLM in BF16 met greedy decodering, zoals het model vragen beantwoordt. De antwoorden op "Describe the scene." zijn kort (gemiddeld 2 tot 48 tokens per cel), dus de tok/s-waarden schommelen meer dan bij andere rijen. Deze test draait het hele model met het officiële FP8 TensorRT Edge-LLM-recept (TensorRT Edge-LLM v0.11.1, 5 diffusiestappen, 6 kandidaten, greedy decodering van de causaliteitsketen) op de 19 navigatiedemoclips van het recept, elk 3 keer.
Jetson AGX Thor op MAXN met jetson_clocks en TensorRT 11.3; de eigen cijfers van het recept komen van een DRIVE AGX Thor met TensorRT 11.3. Zoals in het recept codeert elke beslissing alleen het nieuwste frame van elke camera en hergebruikt de eerdere.
| Fase | Jetson AGX Thor | DRIVE AGX Thor (recept) |
|---|---|---|
| Vision-encoder, 6 nieuwste frames | 21 | 20 |
| Prefill, 3,261 tokens | 67 | 75 |
| Causaliteitsketen, per token | 7.8 | ongeveer 7 |
| Trajectexpert, 5 stappen × 6 kandidaten | 70 | 70 |
| Hele beslissing (22 tokens) | 331 (p90 341) | ongeveer 320 |
| Instelling | ms |
|---|---|
| 120W, TensorRT 10.16 (JetPack) | 439 |
| MAXN, TensorRT 10.16 (JetPack) | 423 |
| MAXN + jetson_clocks, TensorRT 11.3 | 331 |
Met alle 22 frames gecodeerd binnen de gemeten tijd duurt een beslissing 402 ms. TensorRT 11.3 bracht de trajectexpert van 99 naar 70 ms; het vastzetten van de GPU- en geheugenklokken met jetson_clocks (geheugen op 4266 MHz in plaats van ongeveer 2750) deed de rest.
Het recept noemt ongeveer 7 ms per token voor greedy decodering, maar geen greedy totaal; ongeveer 320 ms is de som van zijn fasen plus 22 tokens × 7 ms. Op de voorbeeldclip van het recept komt de causaliteitsketen woord voor woord overeen met de tekst van het recept.
Alpamayo2-Super (34.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 780 ms (time to first token, TTFT) te antwoorden en schrijft daarna 4.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 135,664 ms. Met één beeld op 2K na 838 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Alpamayo2-Super (een 32B Qwen3-VL-backbone en een 2.3B diffusie-expert) schrijft uit zes camera's (elk 4 frames) en de recente beweging van het voertuig een korte causaliteitsketen (chain of causation) en plant daarna een traject. De tabel hierboven meet alleen het vision-language-deel, geserveerd met vLLM in BF16. Op "Describe the scene." antwoordt dat deel meestal in een paar tokens (gemiddeld 2 tot 34 per cel) dat er geen scènebeschrijving is gegeven, hoewel het het beeld wel beschrijft als gevraagd wordt wat het ziet ("The scene shows a road intersection"); de tok/s-waarden schommelen daardoor meer dan bij andere rijen. Deze test draait het hele model via het officiële inferentiepad van zijn repository (NVlabs/alpamayo2, inference_smoke.py: BF16, 10 diffusiestappen, één traject, top-p 0.98, temperatuur 0.6) op de 5 validatieclips van de repository, elk 3 keer, op een Jetson AGX Thor op MAXN.
In de tabel hierboven kwamen 2 verzoeken terug met een leeg antwoord; zoals bij de cameralimiet telt een leeg antwoord niet als fout en beëindigt het dus geen reeks. Voor dit model bestaat geen TensorRT-recept; attention draait via PyTorch SDPA, omdat flash-attn geen build voor dit bord heeft.
| Stap | Gemiddeld | p50 | p90 |
|---|---|---|---|
| Hele beslissing | 13.3 | 12.6 | 17.5 |
| Invoer voorbereiden | 1.0 | 1.0 | 1.0 |
| Model (causaliteitsketen en traject) | 12.3 | 11.7 | 16.5 |
Elke beslissing leest 24 beelden (4,580 prompttokens) en schrijft ongeveer 18 tokens causaliteitsketen (10 tot 32); hoe langer de keten, hoe langer de beslissing. Het model gebruikt 69 GiB geheugen. Alpamayo2-Edge doet er op hetzelfde bord met zijn TensorRT-recept 331 ms per beslissing over.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 582 ms (time to first token, TTFT) te antwoorden en schrijft daarna 16.4 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 56,100 ms. Met één beeld op 2K na 2,297 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 235 ms (time to first token, TTFT) te antwoorden en schrijft daarna 62.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 176,283 ms. Met één beeld op 2K na 1,018 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 490 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.8 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 437,057 ms. Met één beeld op 2K na 1,906 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Cosmos3-Edge (3.9B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 241 ms (time to first token, TTFT) te antwoorden en schrijft daarna 63.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 56,092 ms. Met één beeld op 2K na 1,336 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
Cosmos3-Nano (16B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 480 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.7 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 436,357 ms. Met één beeld op 2K na 1,878 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Eagle2.5-8B (8.1B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 649 ms (time to first token, TTFT) te antwoorden en schrijft daarna 16.9 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 143,682 ms. Met één beeld op 2K na 738 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Gemma-4-31B-it (31B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 976 ms (time to first token, TTFT) te antwoorden en schrijft daarna 3.9 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 124,148 ms. Met één beeld op 2K na 995 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Gemma-4-31B-it (31B parameters), geserveerd in NVFP4-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 662 ms (time to first token, TTFT) te antwoorden en schrijft daarna 7.3 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 118,247 ms. Met één beeld op 2K na 716 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Llama-3.1-Nemotron-Nano-VL-8B (8.7B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 752 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 55,681 ms. Met één beeld op 2K na 835 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
MedGemma-1.5-4B-it (4.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 270 ms (time to first token, TTFT) te antwoorden en schrijft daarna 28.9 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 528,602 ms. Met één beeld op 2K na 341 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Nemotron-Nano-12B-v2-VL (13B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 578 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10.2 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 59,143 ms. Met één beeld op 2K na 1,355 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3-VL-30B-A3B-Instruct (30B parameters), geserveerd in FP8-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 457 ms (time to first token, TTFT) te antwoorden en schrijft daarna 56 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 560,535 ms. Met één beeld op 2K na 2,069 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 332 ms (time to first token, TTFT) te antwoorden en schrijft daarna 28.2 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 407,744 ms. Met één beeld op 2K na 1,261 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 490 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 436,769 ms. Met één beeld op 2K na 1,899 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.6-35B-A3B (35B parameters), geserveerd in FP8-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 486 ms (time to first token, TTFT) te antwoorden en schrijft daarna 53.7 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 178,088 ms. Met één beeld op 2K na 2,037 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3.6-35B-A3B (35B parameters), geserveerd in NVFP4-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 419 ms (time to first token, TTFT) te antwoorden en schrijft daarna 72.1 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 177,032 ms. Met één beeld op 2K na 1,958 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3.8-27B (27B parameters), geserveerd in FP8-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 2,902 ms (time to first token, TTFT) te antwoorden en schrijft daarna 8.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 403,624 ms. Met één beeld op 2K na 7,013 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het één camera tegelijk bij.
Cosmos-Reason1-7B (8.3B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 511 ms (time to first token, TTFT) te antwoorden en schrijft daarna 13.5 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 46,763 ms. Met één beeld op 2K na 2,026 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Cosmos-Reason2-2B (2.4B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 158 ms (time to first token, TTFT) te antwoorden en schrijft daarna 49.7 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 129,322 ms. Met één beeld op 2K na 747 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Cosmos-Reason2-8B (8.8B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 390 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.5 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 314,563 ms. Met één beeld op 2K na 1,710 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Cosmos3-Edge (3.9B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 179 ms (time to first token, TTFT) te antwoorden en schrijft daarna 55.4 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 41,369 ms. Met één beeld op 2K na 950 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het minstens 16 camera's tegelijk bij: ook bij het hoogste gemeten aantal haalde het het doel, dus de werkelijke grens ligt hoger.
Cosmos3-Nano (16B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 469 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.2 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 308,947 ms. Met één beeld op 2K na 1,613 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
d1-3B (3.1B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 175 ms (time to first token, TTFT) te antwoorden en schrijft daarna 34.5 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 4,972 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Eagle2.5-8B (8.1B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 737 ms (time to first token, TTFT) te antwoorden en schrijft daarna 15.5 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 109,194 ms. Met één beeld op 2K na 780 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Fara1.5-27B (27B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 849 ms (time to first token, TTFT) te antwoorden en schrijft daarna 4.5 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 127,441 ms. Met één beeld op 2K na 3,397 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Gemma-4-26B-A4B-it (26B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 407 ms (time to first token, TTFT) te antwoorden en schrijft daarna 24 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 40,031 ms. Met één beeld op 2K na 445 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Gemma-4-31B-it (31B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 781 ms (time to first token, TTFT) te antwoorden en schrijft daarna 3.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 228,036 ms. Met één beeld op 2K na 740 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Gemma-4-31B-it (31B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 511 ms (time to first token, TTFT) te antwoorden en schrijft daarna 7.1 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 208,311 ms. Met één beeld op 2K na 539 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
GLM-4.6V-Flash (10B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 596 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10.5 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 64,534 ms. Met één beeld op 2K na 2,813 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Granite-Vision-4.1-4B (4.0B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 303 ms (time to first token, TTFT) te antwoorden en schrijft daarna 26.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 12,780 ms. Met één beeld op 2K na 364 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
H2O-Lightning-4B (4.7B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 214 ms (time to first token, TTFT) te antwoorden en schrijft daarna 21.2 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 34,823 ms. Met één beeld op 2K na 946 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
LensVLM-9B (9.4B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 370 ms (time to first token, TTFT) te antwoorden en schrijft daarna 13 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 50,707 ms. Met één beeld op 2K na 656 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
LFM2.5-VL-3B (3.1B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 175 ms (time to first token, TTFT) te antwoorden en schrijft daarna 34.3 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 4,981 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Llama-3.1-Nemotron-Nano-VL-8B (8.7B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 888 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.2 tok/s.
Met 32 beelden per camera op 720p begint het antwoord na 47,610 ms. Met één beeld op 2K na 918 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Llama-4-Scout-17B-16E-Instruct (109B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 937 ms (time to first token, TTFT) te antwoorden en schrijft daarna 18.4 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 89,062 ms. Met één beeld op 2K na 1,392 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
MedGemma-1.5-4B-it (4.3B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 191 ms (time to first token, TTFT) te antwoorden en schrijft daarna 24.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 230,121 ms. Met één beeld op 2K na 231 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
MiMo-V2.6-Distill-Qwen-9B (9.4B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 324 ms (time to first token, TTFT) te antwoorden en schrijft daarna 12.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 49,715 ms. Met één beeld op 2K na 1,539 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
MiniCPM-V-4.6 (1.3B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 194 ms (time to first token, TTFT) te antwoorden en schrijft daarna 114.3 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 19,864 ms. Met één beeld op 2K na 290 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
MiniCPM-V-4.7-1B (1.6B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 195 ms (time to first token, TTFT) te antwoorden en schrijft daarna 115.6 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 20,023 ms. Met één beeld op 2K na 293 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Mistral-Small-4-119B-2603 (119B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 590 ms (time to first token, TTFT) te antwoorden en schrijft daarna 31.4 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 44,930 ms. Met één beeld op 2K na 832 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Nemotron-Nano-12B-v2-VL (13B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 570 ms (time to first token, TTFT) te antwoorden en schrijft daarna 10 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 59,026 ms. Met één beeld op 2K na 1,356 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
NVIDIA-Nemotron-3.5-Bolt-74B-A9B (74B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 662 ms (time to first token, TTFT) te antwoorden en schrijft daarna 21.4 tok/s.
Met 16 beelden per camera op 720p begint het antwoord na 7,741 ms. Met één beeld op 2K na 2,032 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (120B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 773 ms (time to first token, TTFT) te antwoorden en schrijft daarna 19.1 tok/s.
Met 64 beelden per camera op 720p begint het antwoord na 34,834 ms. Met één beeld op 2K na 2,465 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 4 camera's tegelijk bij.
Qwen3-VL-30B-A3B-Instruct (30B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 357 ms (time to first token, TTFT) te antwoorden en schrijft daarna 50.4 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 379,830 ms. Met één beeld op 2K na 1,496 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3-VL-4B-Instruct (4.4B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 222 ms (time to first token, TTFT) te antwoorden en schrijft daarna 23.4 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 279,616 ms. Met één beeld op 2K na 1,036 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 32 camera's tegelijk bij.
Qwen3-VL-8B-Instruct (8.8B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 360 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.4 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 311,581 ms. Met één beeld op 2K na 1,685 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.5-0.8B (0.9B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 81 ms (time to first token, TTFT) te antwoorden en schrijft daarna 115.3 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 12,118 ms. Met één beeld op 2K na 340 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.
Qwen3.5-122B-A10B (122B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 603 ms (time to first token, TTFT) te antwoorden en schrijft daarna 14.2 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 103,256 ms. Met één beeld op 2K na 2,215 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3.5-27B (27B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 545 ms (time to first token, TTFT) te antwoorden en schrijft daarna 8.1 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 97,836 ms. Met één beeld op 2K na 2,394 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3.5-2B (2.3B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 146 ms (time to first token, TTFT) te antwoorden en schrijft daarna 44.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 20,233 ms. Met één beeld op 2K na 693 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 64 camera's tegelijk bij.
Qwen3.5-35B-A3B (35B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 341 ms (time to first token, TTFT) te antwoorden en schrijft daarna 53.8 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 46,522 ms. Met één beeld op 2K na 1,365 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.5-9B (9.7B parameters), geserveerd in BF16-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 327 ms (time to first token, TTFT) te antwoorden en schrijft daarna 12.9 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 49,583 ms. Met één beeld op 2K na 2,110 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.6-27B (27B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 550 ms (time to first token, TTFT) te antwoorden en schrijft daarna 8.1 tok/s.
Met 128 beelden per camera op 720p begint het antwoord na 97,355 ms. Met één beeld op 2K na 2,397 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 8 camera's tegelijk bij.
Qwen3.6-35B-A3B (35B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 405 ms (time to first token, TTFT) te antwoorden en schrijft daarna 51 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 139,863 ms. Met één beeld op 2K na 1,555 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.6-35B-A3B (35B parameters), geserveerd in NVFP4-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 303 ms (time to first token, TTFT) te antwoorden en schrijft daarna 78.2 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 127,970 ms. Met één beeld op 2K na 1,342 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Qwen3.8-27B (27B parameters), geserveerd in FP8-formaat met vLLM op DGX Spark, begint één camera die één 720p-beeld stuurt na 775 ms (time to first token, TTFT) te antwoorden en schrijft daarna 8.1 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 285,156 ms. Met één beeld op 2K na 4,203 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 2 camera's tegelijk bij.
Qwen3-VL-30B-A3B-Instruct (30B parameters), geserveerd in FP8-formaat met vLLM op DGX B300 (1 GPU), begint één camera die één 720p-beeld stuurt na 83 ms (time to first token, TTFT) te antwoorden en schrijft daarna 298 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 26,497 ms. Met één beeld op 2K na 245 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.