VLM Çıkarım Benchmark Gezgini
Bu cihaz bu görüntü-dil modeliyle (vision-language model) kaç kamerayı izleyebilir? Kameralarınızın gönderdiği görüntü boyutunu seçin ve bir kameranın yanıtı için ne kadar bekleyebileceğini belirleyin; tablo, ölçtüğümüz her yapılandırma için güncellenir. Bir satırın her kamera sayısındaki ölçümlerini, sonuçların açıklamasını ve grafiğini görmek için satırı açabilirsiniz.
Benchmark gezgini nasıl kullanılır?
Bir satır ne anlatır
Bir satır tek bir kurulum yapılandırmasıdır: belirli bir donanımda, belirli bir sayı biçiminde, belirli bir engine ile sunulan bir görüntü-dil modeli — baştan sona ölçülmüş hâliyle. Bu yüzden aynı model birkaç satırda görünür; iki satırı doğrudan karşılaştırabilmek için aralarında hangi ayarların farklı olduğunu bilmek gerekir.
Filtreler ve hedef farklı işler görür
Filtreler hangi satırları gördüğünüzü belirler. Cihaz, model, parametre sayısı, kuantizasyon ve engine filtreleri ile TTFT kaydırıcısı yalnızca satırları gösterir ya da gizler.
Hedef ve varsayım sayıların ne söylediğini belirler. Bunlar Performans Hedefi ve Varsayımlar altındadır. Birini değiştirdiğinizde satırlar yerinde kalır, ama Maks. kamera ve her satırın yeşil ve kırmızı renklendirmesi yeniden hesaplanır.
1. Kameralarınızı tanımlayın
İş yükünü iki seçici tanımlar ve tablodaki her sayı bu seçimlerde okunur:
- Kamera — aynı anda istek gönderen kamera sayısı. Bu, sistemin ölçüldüğü eşzamanlılıktır (concurrency).
- Görüntü Boyutu — bir kameranın gönderdiği her görüntünün boyutu: 480p, 720p, 1080p ya da 2K.
Seçili birleşimde ölçülmemiş satırlar gizlenir; soluk düğmeler ölçümü olmayan birleşimleri gösterir. Birden fazla kamera 480p, 720p ve 1080p’de ölçüldü; 2K yalnızca tek kamerayla.
2. Daraltın ve sıralayın
Filtreler birlikte çalışır ve her sütun sıralanabilir. En öğretici karşılaştırmalar tek bir ayarı değiştirenlerdir: aynı cihazda bir modelin iki kuantizasyonu, aynı modelin llama.cpp ve vLLM ile sunumu ya da bir modelin iki cihazda çalışması.
3. Hedefinizi belirleyin
Hedef, bir kameranın yanıtının başlaması için bekleyebileceği en uzun süredir — varsayılan 3000 ms. Hedefe tam eşit bir ortalama TTFT geçer.
Yanındaki Kamera Başına Görüntü, her isteğin kaç görüntü taşıdığını belirler: varsayılan olarak tek bir anlık görüntü ya da aynı kameranın birlikte gönderilen birkaç karesi; video, görüntü-dil modellerine çoğu zaman böyle gönderilir. İstek başına birden fazla görüntü yalnızca tek kamerayla ölçüldü; bu yüzden birden fazla görüntüyle Maks. kamera 1’den yüksek olamaz.
4. Maks. kamera değerini okuyun
Maks. kamera, isteklerin ortalama TTFT’sinin hedefiniz içinde kaldığı en yüksek ölçülmüş kamera sayısıdır. Artı işareti — 16+ — yapılandırmanın test edildiği en yüksek sayıda bile hedefi karşıladığı, yani gerçek üst sınırına ulaşılmadığı anlamına gelir. “>3000 ms” — hedefiniz — tek bir kameranın bile zamanında yanıt almadığı demektir.
5. Bir satırı açın
Bir satıra tıkladığınızda şunları görürsünüz:
- solda, görüntü boyutunuzda ve görüntü sayınızda test edilen her kamera sayısının ölçümleri, hedefinize göre “≤3000 ms” ya da “>3000 ms” olarak işaretlenmiş, kamera sınırının ölçüldüğü yerde en altta başarısız olan kamera sayısıyla; altında da tek kamerayla, tek istekteki görüntü sayısı için aynısı;
- sağda, varsayılan ayarlarda sonuçların sade bir dille açıklaması;
- altta, kamera eklendikçe TTFT’nin grafiği; her görüntü boyutu için bir çizgi, hedefiniz kesikli çizgiyle. Grafik, birden fazla kameranın ölçüldüğü yerde, yani kamera başına bir görüntüyle görünür.
Grafik, rapor ve sunumlar için PNG olarak indirilebilir.
Nereden başlamalı
“Tek bir Jetson AGX Orin 32GB kaç kamerayı izleyebilir?” Cihazı seçin, kameralarınızın gönderdiği görüntü boyutunu belirleyin ve Maks. kamera değerini okuyun. Yalnızca yetişen yapılandırmaları görmek için ihtiyacınız olan kamera sayısını seçin ve Maks. TTFT’yi hedefinize ayarlayın.
“1080p’ye değer mi?” Görüntü boyutunu değiştirip Maks. kamera değerini izleyin ya da bir satırı açın: grafiğinde her görüntü boyutu için bir çizgi vardır.
“Kuantizasyon ve engine neyi değiştirir?” Modeli ve cihazı sabit tutup yalnızca o ayarda farklılaşan satırları karşılaştırın: Jetson AGX Orin 32GB’de Q8_0 ve Q4_K_M ile Qwen3-VL-8B-Instruct ya da RTX PRO 6000’de llama.cpp ve vLLM ile Qwen3-VL-4B-Instruct. Kamera sayısını değiştirmek, farkın yük altında nasıl geliştiğini gösterir.
“Bu donanıma zaten sahibiz; üzerinde ne çalıştırabiliriz?” Cihaz filtresiyle başlayın, kalan modelleri boyuta ya da Maks. kamera değerine göre sıralayın ve ihtiyacınız olan TTFT ya da kamera sayısıyla daraltın.
Sayılar ne anlama gelir ve nasıl hesaplanır?
Sayılar nasıl ölçüldü
Her istek bir ya da daha fazla fotoğraf ve Describe the scene. istemini taşır ve en fazla 128 token ister. Fotoğraflar, istekler arasında sırayla kullanılan ve 854×480 (480p), 1280×720 (720p), 1920×1080 (1080p) ve 2560×1440 (2K) boyutlarına ölçeklenen on altı sabit resimdir; OpenAI uyumlu sohbet API’si üzerinden base64 görüntüler olarak gönderilir. Hugging Face checkpoint’leri vLLM ile, GGUF dosyaları llama.cpp ile sunuldu.
Görüntü boyutu, istek başına görüntü ve kamera sayısının her birleşimi, atılan bir ısınma turundan sonra ayrı ayrı ölçülür. Değerler, tamamlanan isteklerin ortalamasıdır; benchmark sırasında başarısız olan bir istek ortalamaya katılmaz ve yapılandırmanın aleyhine sayılmaz.
- Birden fazla kamera, 480p, 720p ve 1080p’de istek başına bir görüntüyle ölçüldü: Jetson Orin NX 16GB’de 1, 2 ve 4 kamera (bir yapılandırmada 8’e kadar), Jetson AGX Orin 32GB ile Developer Kit’inde 8’e, RTX PRO 6000, Jetson AGX Thor ve DGX Spark’ta 16’ya kadar; her seviyede bir Jetson Orin’de 8, diğerlerinde 24 istek gönderildi ve aynı anda hiçbir zaman seviyedekinden fazla kameranın isteği işlenmedi. llama.cpp b11690 ile sunulan Jetson Orin yapılandırmaları 1, 2, 4 ve 8 kamerada, her seviyede 24 istekle ölçüldü.
- Tek kamera, dört boyutun hepsinde istek başına bir, üç ve beş görüntüyle (Jetson AGX Thor, DGX Spark ve llama.cpp b11690 ile sunulan Jetson Orin yapılandırmalarında 1, 2, 4, 8, 16 ve 32), her birinde 5 istekle (bir yapılandırmada 3) ölçüldü. 2K ve istek başına birden fazla görüntü yalnızca bu şekilde ölçüldü.
- Kamera sınırı Jetson AGX Thor ve DGX Spark’ta, 720p’de kamera başına bir görüntüyle ölçüldü: 16, 32, 64 ve daha fazla kamera, kamera başına iki istekle, bir isteğin yanıtı 30 saniye içinde başlamayana kadar denendi; ardından geçen son sayı ile başarısız olan ilk sayı arasındaki aralık, geçen sayının en fazla sekizde biri (en az 4 kamera) olana kadar ikiye bölündü. Sunucu her kameranın isteğini aynı anda alacak şekilde ayarlandı. Boş yanıt dönen bir istek başarısız sayılmadı.
- Görüntü sınırı Jetson AGX Thor ve DGX Spark’ta, 720p’de tek kamerayla ölçüldü: istek başına 64, 128, 256, 512 ve 1024 görüntü, her birinde 3 istekle, bir istek başarısız olana kadar denendi — model için fazla uzun ya da 600 s içinde yanıt yok.
Token, bir modelin okuduğu ve yazdığı birimdir; kabaca bir İngilizce kelimenin dörtte üçü. Bir görüntü de token olarak okunur ve büyük bir görüntü daha çok token’a dönüşür.
TTFT — ilk token süresi
TTFT (ilk token süresi, time to first token), bir kameranın yanıtı başlayana kadar beklediği süredir, milisaniye cinsinden; tabloda ölçülen isteklerin ortalaması gösterilir. Bir görüntü-dil modelinde bu sürenin çoğu görüntüleri okumaktır; bu yüzden görüntülerin boyutu ve sayısıyla, cihazı paylaşan kamera sayısıyla birlikte artar. Boyutla ne kadar arttığı modele bağlıdır: bazıları her görüntüyü sabit sayıda token’a, bazıları piksel arttıkça daha çok token’a dönüştürür. Düşük olması iyidir.
TPS (saniyedeki token), yanıtın ardından kamera başına ne kadar hızlı yazıldığıdır. Görüntüye neredeyse hiç bağlı değildir ve bilgi için gösterilir: Maks. kamera TTFT’ye göre belirlenir. Uzun bir yanıt, yazılma süresini bunun üstüne ekler — saniyede 25 token hızla 128 token yaklaşık beş saniye daha sürer.
Maks. kamera: kamera sayısı eşzamanlılıktır
Bir kamera, önceki isteği yanıtlanır yanıtlanmaz sıradaki isteğini gönderir; yani her zaman tam olarak bir isteği işlenmektedir. Bu yüzden eşzamanlı istek sayısı kamera sayısıdır.
Maks. kamera, ortalama TTFT’nin hedefinizi karşıladığı en yüksek ölçülmüş kamera sayısıdır. Yalnızca ölçülen sayılar sayılır, ara değer üretilmez; hiçbiri geçmezse hücrede hedefiniz, “>3000 ms” yazar. Hedefinize bağlıdır ve onunla birlikte değişir: 720p’de ve kamera başına bir görüntüyle, Jetson AGX Orin 32GB üzerindeki Cosmos3-Edge 1000 ms hedefte 2 kameraya, 3000 ms hedefte 8 kameraya — ölçülen en yüksek sayı, yani 8+ — yetişir.
Tek istekte maks. görüntü de bir kameranın tek istekte gönderdiği görüntüler için aynı şekilde okunur: hedefinizi hâlâ karşılayan en yüksek sayı. Bir satırı açtığınızda, hedeften bağımsız olarak yapılandırmanın sınırları da yazar — yukarıda anlatılan kamera ve görüntü sınırları: bir istek başarısız olmadan önce hâlâ çalışan en yüksek kamera sayısı ve tek istekteki en yüksek görüntü sayısı, ve başarısız olan sayı. Sınırın aranmadığı yerde ölçümün nereye kadar gittiği yazar. Jetson AGX Thor ve DGX Spark’ta Maks. kamera da 16’yı geçer, kamera sınırına kadar gider.
Kurulumu tanımlayan sütunlar
Parametre — görüntü kodlayıcı dahil, modelin yayımlanmış toplam ağırlık sayısı. Mixture-of-experts modellerde bu, her token için etkin olan kısım değil toplamdır; çünkü tamamı bellekte tutulur.
Kuantizasyon — ağırlıkların saklandığı sayı biçimi. BF16 tam hassasiyettir, FP8 8 bit, NVFP4 4 bit kullanır. Q8_0, Q4_K_M ve Q4_0, llama.cpp için ağırlık başına yaklaşık 8 ve 4 bitlik GGUF biçimleridir. Daha az bit, daha az bellek ve genellikle daha çok hız demektir; kalitede bir miktar risk taşır.
Engine — modeli yükleyip istekleri zamanlayan sunucu yazılımı. Hıza donanım kadar etki eder. RTX PRO 6000 üzerinde 720p’de Qwen3-VL-4B-Instruct, tek bir kameraya llama.cpp (Q8_0) ile 247 ms, vLLM (BF16) ile 164 ms sonra yanıt vermeye başlar; 16 kamerada fark 1094 ms’ye karşı 461 ms’dir.
Cihaz — Jetson Orin NX 16GB ve Jetson AGX Orin 32GB, CPU ile GPU’nun tek bir belleği paylaştığı gömülü modüllerdir. İki modülün başka bellek kapasitelerinde sürümleri de vardır; bu yüzden adda ölçülen kapasite yer alır. Jetson AGX Orin 32GB Developer Kit, kendi 32 GB modülüyle gelen geliştirici kitidir ve üretim modülünden ayrı listelenir. Jetson AGX Thor (geliştirici kiti) ve DGX Spark’ta da CPU ile GPU tek bir belleği paylaşır; ikisinde de 128 GB. RTX PRO 6000 Blackwell, 96 GB’lık bir iş istasyonu GPU’sudur ve 600 W’lık Workstation ile 300 W’lık Max-Q sürümlerinde ölçüldü.
Sayıların söylemedikleri
Tablo, yapılandırmaların bir saha incelemesi olmadan karşılaştırılabilmesi için tek bir sabit iş yükü — örnek fotoğraflar, kısa bir istem, en fazla 128 tokenlık yanıtlar — ve ortalama değerler kullanır. Kendi kameralarınız ve istemlerinizle yapılacak bir testin yerini tutmaz: farklı görüntü içeriği, daha uzun istemler ya da yanıtlar, farklı engine ayarları ve ortalama yerine en yavaş istekler gerçek kapasiteyi değiştirir. TTFT, yanıtın başlamasına kadar geçen beklemedir; yanıtın tamamına ihtiyaç duyan bir uygulama yazılma süresini de bekler ve yalnızca tek kamerayla ölçülmüş bir satır, birden fazla kamerayla nasıl davrandığı hakkında bir şey söylemez.
Cosmos-Reason1-7B (8,3B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 7.681 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 12 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 37.755 ms sonra başlar. Tek bir 1080p görüntüyle 23.305 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos-Reason2-2B (2,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.020 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 30,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 9.935 ms sonra başlar. Tek bir 1080p görüntüyle 5.448 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Cosmos-Reason2-8B (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 6.872 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 11,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 34.194 ms sonra başlar. Tek bir 1080p görüntüyle 21.752 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
d1-3B (3,1B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.365 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 20,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 76.330 ms sonra başlar. Tek bir 2K görüntüyle 6.961 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Gemma-4-E2B-it (5,1B parametre), Q4_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.379 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 29,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 6.306 ms sonra başlar. Tek bir 1080p görüntüyle 3.430 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Gemma-4-E4B-it (8,0B parametre), Q4_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.856 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 8.315 ms sonra başlar. Tek bir 1080p görüntüyle 4.451 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
GLM-4.6V-Flash (10B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 6.953 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 9,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 124.356 ms sonra başlar. Tek bir 2K görüntüyle 39.024 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Granite-Vision-4.1-4B (4,0B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.358 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 84.981 ms sonra başlar. Tek bir 2K görüntüyle 4.521 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
LensVLM-9B (9,4B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 7.200 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 230.062 ms sonra başlar. Tek bir 2K görüntüyle 56.130 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
LFM2.5-VL-3B (3,1B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.353 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 20,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 76.152 ms sonra başlar. Tek bir 2K görüntüyle 6.950 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
MiMo-V2.6-Distill-Qwen-9B (9,4B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 7.204 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 230.328 ms sonra başlar. Tek bir 2K görüntüyle 56.161 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
MiniCPM-V-4.6 (1,3B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.943 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 43 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 62.045 ms sonra başlar. Tek bir 2K görüntüyle 2.619 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
MiniCPM-V-4.7-1B (1,6B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.264 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 42,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 69.995 ms sonra başlar. Tek bir 2K görüntüyle 5.616 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen-Drive-1.0-4B (4,5B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.354 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 11,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 105.020 ms sonra başlar. Tek bir 2K görüntüyle 19.483 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3-VL-4B-Instruct (4,4B parametre), FP8 biçiminde vLLM ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.668 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 3 görüntüyle yanıt 4.004 ms sonra başlar. Tek bir 1080p görüntüyle 4.345 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-4B-Instruct (4,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.037 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 14.623 ms sonra başlar. Tek bir 2K görüntüyle 18.387 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3-VL-8B-Instruct (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 6.916 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 11,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 34.431 ms sonra başlar. Tek bir 1080p görüntüyle 21.785 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3.5-0.8B (0,9B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 970 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 43,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 31.751 ms sonra başlar. Tek bir 2K görüntüyle 6.497 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3.5-2B (2,3B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.094 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 66.468 ms sonra başlar. Tek bir 2K görüntüyle 15.226 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.715 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 17.250 ms sonra başlar. Tek bir 1080p görüntüyle 8.480 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3.5-9B (9,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 7.216 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 231.047 ms sonra başlar. Tek bir 2K görüntüyle 56.353 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos-Reason1-7B (8,3B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.211 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 26,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 15.842 ms sonra başlar. Tek bir 2K görüntüyle 18.623 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos-Reason2-2B (2,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 952 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 57,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 4.449 ms sonra başlar. Tek bir 2K görüntüyle 7.073 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
Cosmos-Reason2-8B (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.710 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 13.211 ms sonra başlar. Tek bir 2K görüntüyle 20.513 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 510 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 45,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 2.106 ms sonra başlar. Tek bir 2K görüntüyle 2.713 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 8 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
d1-3B (3,1B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.087 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 39,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 32.783 ms sonra başlar. Tek bir 2K görüntüyle 3.110 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
Gemma-4-26B-A4B-it (26B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.341 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 32,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 10.783 ms sonra başlar. Tek bir 2K görüntüyle 9.941 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Gemma-4-E4B-it (8,0B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 864 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 34,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 3.582 ms sonra başlar. Tek bir 2K görüntüyle 2.551 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
GLM-4.6V-Flash (10B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.933 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 16,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 50.586 ms sonra başlar. Tek bir 2K görüntüyle 15.550 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Granite-Vision-4.1-4B (4,0B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.869 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 28,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 34.306 ms sonra başlar. Tek bir 2K görüntüyle 2.043 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
LensVLM-9B (9,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.733 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 83.447 ms sonra başlar. Tek bir 2K görüntüyle 20.206 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
LFM2.5-VL-3B (3,1B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.081 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 39,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 32.663 ms sonra başlar. Tek bir 2K görüntüyle 3.106 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
MiMo-V2.6-Distill-Qwen-9B (9,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.804 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 85.598 ms sonra başlar. Tek bir 2K görüntüyle 20.413 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
MiniCPM-V-4.6 (1,3B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.116 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 73,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 33.197 ms sonra başlar. Tek bir 2K görüntüyle 1.540 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
MiniCPM-V-4.7-1B (1,6B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.922 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 76,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 30.405 ms sonra başlar. Tek bir 2K görüntüyle 2.587 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
MiniCPM-V-4.7-35B-A3B (35B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.546 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 34,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 56.672 ms sonra başlar. Tek bir 2K görüntüyle 4.844 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen-Drive-1.0-4B (4,5B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.488 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 24 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 42.941 ms sonra başlar. Tek bir 2K görüntüyle 8.678 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-4B-Instruct (4,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.313 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 28,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 6.400 ms sonra başlar. Tek bir 2K görüntüyle 8.315 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-8B-Instruct (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.746 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 13.242 ms sonra başlar. Tek bir 2K görüntüyle 20.613 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3-VL-8B-Instruct (8,8B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.636 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 19,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 13.189 ms sonra başlar. Tek bir 2K görüntüyle 20.481 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3.5-0.8B (0,9B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 530 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 76,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 14.854 ms sonra başlar. Tek bir 2K görüntüyle 3.064 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
Qwen3.5-27B (27B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 6.430 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 6,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 203.226 ms sonra başlar. Tek bir 1080p görüntüyle 15.939 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3.5-2B (2,3B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 950 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 47,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 28.006 ms sonra başlar. Tek bir 2K görüntüyle 6.986 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
Qwen3.5-35B-A3B (35B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.809 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 30,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 86.682 ms sonra başlar. Tek bir 1080p görüntüyle 7.931 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.568 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 33,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 7.143 ms sonra başlar. Tek bir 2K görüntüyle 9.038 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3.5-9B (9,7B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.751 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 83.972 ms sonra başlar. Tek bir 2K görüntüyle 20.194 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3.6-27B (27B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB Developer Kit üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 5.684 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 7,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 184.288 ms sonra başlar. Tek bir 1080p görüntüyle 14.110 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 Max-Q üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 88 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 310,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 343 ms sonra başlar. Tek bir 2K görüntüyle 432 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos3-Nano (16B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 Max-Q üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 136 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 88 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 739 ms sonra başlar. Tek bir 2K görüntüyle 746 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos-Reason1-7B (8,3B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 252 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 98,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 708 ms sonra başlar. Tek bir 2K görüntüyle 613 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos-Reason2-2B (2,4B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 109 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 318,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 562 ms sonra başlar. Tek bir 2K görüntüyle 495 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos-Reason2-8B (8,8B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 148 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 92,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 750 ms sonra başlar. Tek bir 2K görüntüyle 680 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Eagle2.5-8B (8,1B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 258 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 105 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.352 ms sonra başlar. Tek bir 2K görüntüyle 418 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Gemma-4-31B-it (31B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 235 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 24,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 702 ms sonra başlar. Tek bir 2K görüntüyle 316 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Gemma-4-31B-it (31B parametre), NVFP4 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 271 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 45,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 579 ms sonra başlar. Tek bir 2K görüntüyle 305 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Llama-3.1-Nemotron-Nano-VL-8B (8,7B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 292 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 94,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.786 ms sonra başlar. Tek bir 2K görüntüyle 486 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
MedGemma-1.5-4B-it (4,3B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 199 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 171,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 447 ms sonra başlar. Tek bir 2K görüntüyle 249 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Nemotron-Nano-12B-v2-VL (13B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 197 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 68,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 777 ms sonra başlar. Tek bir 2K görüntüyle 612 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 161 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 194,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.041 ms sonra başlar. Tek bir 2K görüntüyle 581 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-4B-Instruct (4,4B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 164 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 156,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 640 ms sonra başlar. Tek bir 2K görüntüyle 559 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-4B-Instruct (4,4B parametre), Q8_0 biçiminde llama.cpp ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 247 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 231,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 761 ms sonra başlar. Tek bir 2K görüntüyle 944 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-8B-Instruct (8,8B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 230 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 92,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 761 ms sonra başlar. Tek bir 2K görüntüyle 684 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-8B-Instruct (8,8B parametre), Q8_0 biçiminde llama.cpp ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 329 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 153,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.037 ms sonra başlar. Tek bir 2K görüntüyle 1.788 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3.6-35B-A3B (35B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 212 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 220,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 844 ms sonra başlar. Tek bir 2K görüntüyle 586 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3.6-35B-A3B (35B parametre), NVFP4 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 221 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 282,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 841 ms sonra başlar. Tek bir 2K görüntüyle 798 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3.8-27B (27B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 293 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 50 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.014 ms sonra başlar. Tek bir 2K görüntüyle 906 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos-Reason1-7B (8,3B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.370 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 20,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 21.756 ms sonra başlar. Tek bir 2K görüntüyle 25.557 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos-Reason2-2B (2,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.348 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 44,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 6.261 ms sonra başlar. Tek bir 2K görüntüyle 9.690 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Cosmos-Reason2-8B (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.001 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 18,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 19.836 ms sonra başlar. Tek bir 2K görüntüyle 31.764 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 684 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 42,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 2.956 ms sonra başlar. Tek bir 2K görüntüyle 3.951 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 8 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Gemma-4-26B-A4B-it (26B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.587 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 24.097 ms sonra başlar. Tek bir 2K görüntüyle 15.438 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Gemma-4-E4B-it (8,0B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.183 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 26,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 5.127 ms sonra başlar. Tek bir 2K görüntüyle 3.432 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-4B-Instruct (4,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.832 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 23,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 8.888 ms sonra başlar. Tek bir 2K görüntüyle 11.276 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-8B-Instruct (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.000 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 18,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 19.933 ms sonra başlar. Tek bir 2K görüntüyle 31.702 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3-VL-8B-Instruct (8,8B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.868 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 19.204 ms sonra başlar. Tek bir 2K görüntüyle 31.317 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.
Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.210 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 10.385 ms sonra başlar. Tek bir 2K görüntüyle 12.483 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Alpamayo2-Edge (2,7B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 136 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 101,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 512 görüntüyle yanıt 46.217 ms sonra başlar. Tek bir 2K görüntüyle 229 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.
Alpamayo2-Edge bir sürüş modelidir: altı kameradan (22 kare), aracın son hareketinden ve bir navigasyon talimatından kısa bir nedensellik zinciri (chain of causation) yazar ve altı aday yörünge planlar. Yukarıdaki tablo yalnızca modelin görü-dil kısmını, vLLM ile BF16 olarak ve greedy decoding ile (model soruları böyle yanıtlar) sunulduğunda ölçer. "Describe the scene." sorusuna cevapları kısadır (hücre başına ortalama 2 ile 48 token), bu yüzden tok/s değerleri diğer satırlardan daha çok dalgalanır. Bu test ise modelin tamamını resmi FP8 TensorRT Edge-LLM tarifiyle (TensorRT Edge-LLM v0.11.1, 5 difüzyon adımı, 6 aday, nedensellik zincirinin greedy decoding ile üretilmesi) tarifin 19 navigasyon demo klibinde, her birinde 3 kez çalıştırır.
Jetson AGX Thor MAXN modunda, jetson_clocks ve TensorRT 11.3 ile; tarifin kendi rakamları TensorRT 11.3 ile bir DRIVE AGX Thor üzerinde alınmıştır. Tarifte olduğu gibi her kararda her kameranın yalnızca en yeni karesi kodlanır, önceki kareler yeniden kullanılır.
| Aşama | Jetson AGX Thor | DRIVE AGX Thor (tarif) |
|---|---|---|
| Görüntü kodlayıcı, en yeni 6 kare | 21 | 20 |
| Prefill, 3,261 token | 67 | 75 |
| Nedensellik zinciri, token başına | 7.8 | yaklaşık 7 |
| Yörünge uzmanı, 5 adım × 6 aday | 70 | 70 |
| Kararın tamamı (22 token) | 331 (p90 341) | yaklaşık 320 |
| Ayar | ms |
|---|---|
| 120W, TensorRT 10.16 (JetPack) | 439 |
| MAXN, TensorRT 10.16 (JetPack) | 423 |
| MAXN + jetson_clocks, TensorRT 11.3 | 331 |
22 karenin tamamı ölçülen süre içinde kodlandığında bir karar 402 ms sürer. TensorRT 11.3 yörünge uzmanını 99 ms'den 70 ms'ye indirdi; GPU ve bellek saatlerinin jetson_clocks ile sabitlenmesi (bellek yaklaşık 2750 yerine 4266 MHz) farkın kalanını kapattı.
Tarif greedy decoding için token başına yaklaşık 7 ms verir, greedy toplamını vermez; yaklaşık 320 ms, tarifin aşamalarına 22 token × 7 ms eklenerek bulunur. Tarifin örnek klibinde nedensellik zinciri, tarifteki metinle kelimesi kelimesine aynıdır.
Alpamayo2-Super (34,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 780 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 4,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 135.664 ms sonra başlar. Tek bir 2K görüntüyle 838 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Alpamayo2-Super (32B bir Qwen3-VL omurgası ve 2.3B bir difüzyon uzmanı) altı kameradan (her birinden 4 kare) ve aracın son hareketinden kısa bir nedensellik zinciri (chain of causation) yazar, ardından bir yörünge planlar. Yukarıdaki tablo yalnızca modelin görü-dil kısmını, vLLM ile BF16 olarak sunulduğunda ölçer. Bu kısım "Describe the scene." sorusuna çoğunlukla birkaç token ile (hücre başına ortalama 2 ile 34) bir sahne açıklaması verilmediğini söyler; görüntüde ne gördüğü sorulduğunda ise görüntüyü anlatır ("The scene shows a road intersection"). Bu yüzden tok/s değerleri diğer satırlardan daha çok dalgalanır. Bu test ise modelin tamamını deposundaki resmi çıkarım yoluyla (NVlabs/alpamayo2, inference_smoke.py: BF16, 10 difüzyon adımı, tek yörünge, top-p 0.98, sıcaklık 0.6) deponun 5 doğrulama klibinde, her birinde 3 kez, MAXN modundaki Jetson AGX Thor üzerinde çalıştırır.
Yukarıdaki tabloda 2 istek boş cevapla döndü; kamera limitinde olduğu gibi boş cevap hata sayılmaz, bu yüzden bir seriyi bitirmez. Bu model için bir TensorRT tarifi yoktur; flash-attn'ın bu kart için bir derlemesi olmadığından dikkat (attention) PyTorch SDPA ile çalışır.
| Adım | Ortalama | p50 | p90 |
|---|---|---|---|
| Kararın tamamı | 13.3 | 12.6 | 17.5 |
| Girdi hazırlığı | 1.0 | 1.0 | 1.0 |
| Model (nedensellik zinciri ve yörünge) | 12.3 | 11.7 | 16.5 |
Her karar 24 görüntü (4,580 prompt token) okur ve yaklaşık 18 token (10 ile 32 arası) nedensellik zinciri yazar; zincir uzadıkça karar da uzar. Model 69 GiB bellek kullanır. Alpamayo2-Edge aynı kartta TensorRT tarifiyle bir kararı 331 ms'de verir.
Cosmos-Reason1-7B (8,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 582 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 16,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 56.100 ms sonra başlar. Tek bir 2K görüntüyle 2.297 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Cosmos-Reason2-2B (2,4B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 235 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 62,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 176.283 ms sonra başlar. Tek bir 2K görüntüyle 1.018 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Cosmos-Reason2-8B (8,8B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 490 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 437.057 ms sonra başlar. Tek bir 2K görüntüyle 1.906 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 241 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 63,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 56.092 ms sonra başlar. Tek bir 2K görüntüyle 1.336 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
Cosmos3-Nano (16B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 480 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 436.357 ms sonra başlar. Tek bir 2K görüntüyle 1.878 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Eagle2.5-8B (8,1B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 649 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 16,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 143.682 ms sonra başlar. Tek bir 2K görüntüyle 738 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Gemma-4-31B-it (31B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 976 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 3,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 124.148 ms sonra başlar. Tek bir 2K görüntüyle 995 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Gemma-4-31B-it (31B parametre), NVFP4 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 662 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 7,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 118.247 ms sonra başlar. Tek bir 2K görüntüyle 716 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Llama-3.1-Nemotron-Nano-VL-8B (8,7B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 752 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 55.681 ms sonra başlar. Tek bir 2K görüntüyle 835 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
MedGemma-1.5-4B-it (4,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 270 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 28,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 528.602 ms sonra başlar. Tek bir 2K görüntüyle 341 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Nemotron-Nano-12B-v2-VL (13B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 578 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 59.143 ms sonra başlar. Tek bir 2K görüntüyle 1.355 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 457 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 56 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 560.535 ms sonra başlar. Tek bir 2K görüntüyle 2.069 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3-VL-4B-Instruct (4,4B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 332 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 28,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 407.744 ms sonra başlar. Tek bir 2K görüntüyle 1.261 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
Qwen3-VL-8B-Instruct (8,8B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 490 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 436.769 ms sonra başlar. Tek bir 2K görüntüyle 1.899 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.6-35B-A3B (35B parametre), FP8 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 486 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 53,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 178.088 ms sonra başlar. Tek bir 2K görüntüyle 2.037 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3.6-35B-A3B (35B parametre), NVFP4 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 419 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 72,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 177.032 ms sonra başlar. Tek bir 2K görüntüyle 1.958 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3.8-27B (27B parametre), FP8 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.902 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 8,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 403.624 ms sonra başlar. Tek bir 2K görüntüyle 7.013 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Cosmos-Reason1-7B (8,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 511 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 13,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 46.763 ms sonra başlar. Tek bir 2K görüntüyle 2.026 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Cosmos-Reason2-2B (2,4B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 158 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 49,7 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 129.322 ms sonra başlar. Tek bir 2K görüntüyle 747 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Cosmos-Reason2-8B (8,8B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 390 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 314.563 ms sonra başlar. Tek bir 2K görüntüyle 1.710 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 179 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 55,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 41.369 ms sonra başlar. Tek bir 2K görüntüyle 950 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Cosmos3-Nano (16B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 469 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 308.947 ms sonra başlar. Tek bir 2K görüntüyle 1.613 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
d1-3B (3,1B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 175 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 34,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 4.972 ms sonra başlar.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Eagle2.5-8B (8,1B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 737 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 15,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 109.194 ms sonra başlar. Tek bir 2K görüntüyle 780 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Fara1.5-27B (27B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 849 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 4,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 127.441 ms sonra başlar. Tek bir 2K görüntüyle 3.397 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Gemma-4-26B-A4B-it (26B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 407 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 24 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 40.031 ms sonra başlar. Tek bir 2K görüntüyle 445 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Gemma-4-31B-it (31B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 781 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 3,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 228.036 ms sonra başlar. Tek bir 2K görüntüyle 740 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Gemma-4-31B-it (31B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 511 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 7,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 208.311 ms sonra başlar. Tek bir 2K görüntüyle 539 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
GLM-4.6V-Flash (10B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 596 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10,5 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 64.534 ms sonra başlar. Tek bir 2K görüntüyle 2.813 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Granite-Vision-4.1-4B (4,0B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 303 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 26,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 12.780 ms sonra başlar. Tek bir 2K görüntüyle 364 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
H2O-Lightning-4B (4,7B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 214 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 21,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 34.823 ms sonra başlar. Tek bir 2K görüntüyle 946 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
LensVLM-9B (9,4B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 370 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 13 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 50.707 ms sonra başlar. Tek bir 2K görüntüyle 656 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
LFM2.5-VL-3B (3,1B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 175 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 34,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 4.981 ms sonra başlar.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Llama-3.1-Nemotron-Nano-VL-8B (8,7B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 888 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 32 görüntüyle yanıt 47.610 ms sonra başlar. Tek bir 2K görüntüyle 918 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Llama-4-Scout-17B-16E-Instruct (109B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 937 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 18,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 89.062 ms sonra başlar. Tek bir 2K görüntüyle 1.392 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
MedGemma-1.5-4B-it (4,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 191 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 24,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 230.121 ms sonra başlar. Tek bir 2K görüntüyle 231 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
MiMo-V2.6-Distill-Qwen-9B (9,4B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 324 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 12,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 49.715 ms sonra başlar. Tek bir 2K görüntüyle 1.539 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
MiniCPM-V-4.6 (1,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 194 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 114,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 19.864 ms sonra başlar. Tek bir 2K görüntüyle 290 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
MiniCPM-V-4.7-1B (1,6B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 195 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 115,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 20.023 ms sonra başlar. Tek bir 2K görüntüyle 293 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Mistral-Small-4-119B-2603 (119B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 590 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 31,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 44.930 ms sonra başlar. Tek bir 2K görüntüyle 832 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Nemotron-Nano-12B-v2-VL (13B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 570 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 10 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 59.026 ms sonra başlar. Tek bir 2K görüntüyle 1.356 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
NVIDIA-Nemotron-3.5-Bolt-74B-A9B (74B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 662 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 21,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 16 görüntüyle yanıt 7.741 ms sonra başlar. Tek bir 2K görüntüyle 2.032 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (120B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 773 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 19,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 64 görüntüyle yanıt 34.834 ms sonra başlar. Tek bir 2K görüntüyle 2.465 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 4 kameraya yetişir.
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 357 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 50,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 379.830 ms sonra başlar. Tek bir 2K görüntüyle 1.496 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3-VL-4B-Instruct (4,4B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 222 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 23,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 279.616 ms sonra başlar. Tek bir 2K görüntüyle 1.036 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.
Qwen3-VL-8B-Instruct (8,8B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 360 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 311.581 ms sonra başlar. Tek bir 2K görüntüyle 1.685 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.5-0.8B (0,9B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 81 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 115,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 12.118 ms sonra başlar. Tek bir 2K görüntüyle 340 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.
Qwen3.5-122B-A10B (122B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 603 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 103.256 ms sonra başlar. Tek bir 2K görüntüyle 2.215 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3.5-27B (27B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 545 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 8,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 97.836 ms sonra başlar. Tek bir 2K görüntüyle 2.394 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3.5-2B (2,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 146 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 44,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 20.233 ms sonra başlar. Tek bir 2K görüntüyle 693 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.
Qwen3.5-35B-A3B (35B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 341 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 53,8 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 46.522 ms sonra başlar. Tek bir 2K görüntüyle 1.365 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.5-9B (9,7B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 327 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 12,9 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 49.583 ms sonra başlar. Tek bir 2K görüntüyle 2.110 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.6-27B (27B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 550 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 8,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 128 görüntüyle yanıt 97.355 ms sonra başlar. Tek bir 2K görüntüyle 2.397 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.
Qwen3.6-35B-A3B (35B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 405 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 51 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 139.863 ms sonra başlar. Tek bir 2K görüntüyle 1.555 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.6-35B-A3B (35B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 303 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 78,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 127.970 ms sonra başlar. Tek bir 2K görüntüyle 1.342 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Qwen3.8-27B (27B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 775 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 8,1 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 285.156 ms sonra başlar. Tek bir 2K görüntüyle 4.203 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile DGX B300 (1 GPU) üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 83 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 298 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 26.497 ms sonra başlar. Tek bir 2K görüntüyle 245 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.