Qwen3.5-4B, Jetson AGX Orin 32GB üzerinde — Q4_K_M, llama.cpp görüntü-dil çıkarım benchmark'ı
Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın
| Model | Qwen3.5-4B |
|---|---|
| Parametre | 4.7B |
| Cihaz | Jetson AGX Orin 32GB |
| Kuantizasyon | Q4_K_M |
| Görüntü boyutu | 720p |
| Kamera başına görüntü | 1 |
| Maks. kamera (TTFT ≤ 3000 ms) | 1 |
| Inference Engine | llama.cpp |
| Kamera | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 2210 | 25.3 | ≤3000 ms |
| 2 | 3574 | 20.7 | >3000 ms |
| 4 | 7150 | 13.1 | >3000 ms |
| 8 | 14740 | 13.0 | >3000 ms |
| İstek başına görüntü | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 2210 | 25.3 | ≤3000 ms |
| 3 | 6312 | 25.1 | >3000 ms |
| 5 | 10385 | 25.0 | >3000 ms |
Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.210 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 10.385 ms sonra başlar. Tek bir 2K görüntüyle 12.483 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.
Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.210 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,3 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 10.385 ms sonra başlar. Tek bir 2K görüntüyle 12.483 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.