Öffentliche GPU- und NPU-Uploads

Benchmark-Ergebnisse für lokale LLM-Hardware vergleichen

Finde die passende GPU oder NPU für lokale LLMs und vergleiche Prompt Processing, TTFT, Token Generation, VRAM, Stromverbrauch und die neuesten öffentlichen Benchmark-Uploads.

Vergleichen
NVIDIA RTX 5090 32 GB 1,792 GB/s 10,381.64 tok/s 49.00 ms 264 tok/s 575 W 1 vor 4 Wochen hochgeladen
AMD RX 7900 XTX 24 GB 960 GB/s 3,531.93 tok/s 145.00 ms 191 tok/s 355 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 4090 24 GB 1,008 GB/s 9,452.03 tok/s 54.00 ms 188 tok/s 450 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 5080 16 GB 960 GB/s 7,444.99 tok/s 69.00 ms 185 tok/s 360 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 3090 24 GB 936 GB/s 4,298.97 tok/s 119.00 ms 160 tok/s 350 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 4080 SUPER 16 GB 736 GB/s 7,101.18 tok/s 72.00 ms 147 tok/s 320 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 3080 12 GB 12 GB 912 GB/s 4,287.11 tok/s 119.00 ms 139 tok/s 350 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 3080 10 GB 10 GB 760 GB/s 4,287.11 tok/s 119.00 ms 139 tok/s 320 W 1 vor 4 Wochen hochgeladen
AMD RX 9070 XT 16 GB 640 GB/s 5,036.04 tok/s 102.00 ms 137 tok/s 304 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 5070 Ti 16 GB 896 GB/s 6,213.63 tok/s 82.00 ms 136 tok/s 300 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 4070 Ti SUPER 16 GB 672 GB/s 6,099.18 tok/s 84.00 ms 129 tok/s 285 W 1 vor 4 Wochen hochgeladen
AMD RX 7900 XT 20 GB 800 GB/s 2,941.58 tok/s 174.00 ms 123 tok/s 315 W 1 vor 4 Wochen hochgeladen
AMD RX 9070 16 GB 640 GB/s 3,164.10 tok/s 162.00 ms 120 tok/s 220 W 1 vor 4 Wochen hochgeladen
AMD RX 7800 XT 16 GB 624 GB/s 2,017.33 tok/s 254.00 ms 118 tok/s 263 W 1 vor 4 Wochen hochgeladen
AMD RX 7900 GRE 16 GB 576 GB/s 2,336.31 tok/s 219.00 ms 116 tok/s 260 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 4070 Ti 12 GB 504 GB/s 4,981.44 tok/s 103.00 ms 111 tok/s 285 W 1 vor 4 Wochen hochgeladen
AMD RX 6900 XT 16 GB 512 GB/s 1,901.20 tok/s 269.00 ms 108 tok/s 300 W 1 vor 4 Wochen hochgeladen
AMD RX 6800 XT 16 GB 512 GB/s 1,752.92 tok/s 292.00 ms 100 tok/s 300 W 1 vor 4 Wochen hochgeladen
AMD RX 6800 16 GB 512 GB/s 1,698.69 tok/s 301.00 ms 96 tok/s 250 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 76-core GPU 64 GB 800 GB/s 1,238.48 tok/s 413.00 ms 94 tok/s 108 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 76-core GPU 128 GB 800 GB/s 1,238.48 tok/s 413.00 ms 94 tok/s 108 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 76-core GPU 192 GB 800 GB/s 1,238.48 tok/s 413.00 ms 94 tok/s 108 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 5060 Ti 16 GB 16 GB 448 GB/s 3,460.92 tok/s 148.00 ms 94 tok/s 180 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 5060 Ti 8 GB 8 GB 448 GB/s 3,460.92 tok/s 148.00 ms 94 tok/s 180 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 4070 12 GB 504 GB/s 3,179.37 tok/s 161.00 ms 92 tok/s 200 W 1 vor 4 Wochen hochgeladen
Apple M3 Ultra 80-core GPU 256 GB 819 GB/s 1,471.24 tok/s 348.00 ms 92 tok/s 120 W 1 vor 4 Wochen hochgeladen
Apple M3 Ultra 80-core GPU 512 GB 819 GB/s 1,471.24 tok/s 348.00 ms 92 tok/s 120 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 60-core GPU 64 GB 800 GB/s 1,013.81 tok/s 505.00 ms 89 tok/s 85 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 60-core GPU 128 GB 800 GB/s 1,013.81 tok/s 505.00 ms 89 tok/s 85 W 1 vor 4 Wochen hochgeladen
Apple M2 Ultra 60-core GPU 192 GB 800 GB/s 1,013.81 tok/s 505.00 ms 89 tok/s 85 W 1 vor 4 Wochen hochgeladen
Apple M3 Ultra 60-core GPU 96 GB 819 GB/s 1,073.09 tok/s 477.00 ms 88 tok/s 90 W 1 vor 4 Wochen hochgeladen
AMD RX 6700 XT 12 GB 384 GB/s 1,051.20 tok/s 487.00 ms 84 tok/s 230 W 2 vor 4 Wochen hochgeladen
Apple M1 Ultra 64-core GPU 64 GB 800 GB/s 1,030.04 tok/s 497.00 ms 84 tok/s 88 W 1 vor 4 Wochen hochgeladen
Apple M1 Ultra 64-core GPU 128 GB 800 GB/s 1,030.04 tok/s 497.00 ms 84 tok/s 88 W 1 vor 4 Wochen hochgeladen
Apple M4 Max 40-core GPU 48 GB 546 GB/s 885.68 tok/s 578.00 ms 83 tok/s 75 W 1 vor 4 Wochen hochgeladen
Apple M4 Max 40-core GPU 64 GB 546 GB/s 885.68 tok/s 578.00 ms 83 tok/s 75 W 1 vor 4 Wochen hochgeladen
Apple M4 Max 40-core GPU 128 GB 546 GB/s 885.68 tok/s 578.00 ms 83 tok/s 75 W 1 vor 4 Wochen hochgeladen
AMD RX 6750 XT 12 GB 432 GB/s 1,040.58 tok/s 492.00 ms 82 tok/s 250 W 2 vor 4 Wochen hochgeladen
NVIDIA RTX 3070 8 GB 448 GB/s 2,113.02 tok/s 242.00 ms 79 tok/s 220 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 3060 12 GB 12 GB 360 GB/s 1,815.70 tok/s 282.00 ms 76 tok/s 170 W 1 vor 4 Wochen hochgeladen
NVIDIA RTX 3060 8 GB 8 GB 240 GB/s 1,815.70 tok/s 282.00 ms 76 tok/s 170 W 1 vor 4 Wochen hochgeladen
Apple M1 Ultra 48-core GPU 64 GB 800 GB/s 772.24 tok/s 663.00 ms 75 tok/s 66 W 1 vor 4 Wochen hochgeladen
Apple M1 Ultra 48-core GPU 128 GB 800 GB/s 772.24 tok/s 663.00 ms 75 tok/s 66 W 1 vor 4 Wochen hochgeladen
AMD RX 9060 XT 8 GB 8 GB 320 GB/s 2,141.67 tok/s 239.00 ms 71 tok/s 150 W 2 vor 4 Wochen hochgeladen
AMD RX 9060 XT 16 GB 16 GB 320 GB/s 2,141.67 tok/s 239.00 ms 71 tok/s 160 W 2 vor 4 Wochen hochgeladen
Intel Arc B580 12 GB 456 GB/s 620.94 tok/s 825.00 ms 70 tok/s 190 W 1 vor 4 Wochen hochgeladen
Apple M4 Max 32-core GPU 36 GB 410 GB/s 713.93 tok/s 717.00 ms 70 tok/s 45 W 1 vor 4 Wochen hochgeladen
Apple M3 Max 40-core GPU 48 GB 400 GB/s 759.70 tok/s 674.00 ms 66 tok/s 60 W 1 vor 4 Wochen hochgeladen
Apple M3 Max 40-core GPU 64 GB 400 GB/s 759.70 tok/s 674.00 ms 66 tok/s 60 W 1 vor 4 Wochen hochgeladen
Apple M3 Max 40-core GPU 128 GB 400 GB/s 759.70 tok/s 674.00 ms 66 tok/s 60 W 1 vor 4 Wochen hochgeladen
Apple M2 Max 38-core GPU 32 GB 400 GB/s 671.31 tok/s 763.00 ms 66 tok/s 54 W 1 vor 4 Wochen hochgeladen
Apple M2 Max 38-core GPU 64 GB 400 GB/s 671.31 tok/s 763.00 ms 66 tok/s 54 W 1 vor 4 Wochen hochgeladen
Apple M2 Max 38-core GPU 96 GB 400 GB/s 671.31 tok/s 763.00 ms 66 tok/s 54 W 1 vor 4 Wochen hochgeladen
AMD RX 6650 XT 8 GB 280 GB/s 1,029.52 tok/s 497.00 ms 62 tok/s 180 W 1 vor 4 Wochen hochgeladen
Apple M1 Max 32-core GPU 32 GB 400 GB/s 530.06 tok/s 966.00 ms 61 tok/s 44 W 1 vor 4 Wochen hochgeladen
Apple M1 Max 32-core GPU 64 GB 400 GB/s 530.06 tok/s 966.00 ms 61 tok/s 44 W 1 vor 4 Wochen hochgeladen
Apple M2 Max 30-core GPU 32 GB 400 GB/s 537.60 tok/s 952.00 ms 61 tok/s 42 W 1 vor 4 Wochen hochgeladen
Apple M2 Max 30-core GPU 64 GB 400 GB/s 537.60 tok/s 952.00 ms 61 tok/s 42 W 1 vor 4 Wochen hochgeladen
Apple M3 Max 30-core GPU 36 GB 300 GB/s 567.59 tok/s 902.00 ms 57 tok/s 53 W 1 vor 4 Wochen hochgeladen
Apple M3 Max 30-core GPU 96 GB 300 GB/s 567.59 tok/s 902.00 ms 57 tok/s 53 W 1 vor 4 Wochen hochgeladen
Apple M1 Max 24-core GPU 32 GB 400 GB/s 400.26 tok/s 1,279.00 ms 55 tok/s 35 W 1 vor 4 Wochen hochgeladen
Apple M1 Max 24-core GPU 64 GB 400 GB/s 400.26 tok/s 1,279.00 ms 55 tok/s 35 W 1 vor 4 Wochen hochgeladen
AMD RX 6600 XT 8 GB 256 GB/s 574.65 tok/s 891.00 ms 54 tok/s 160 W 1 vor 4 Wochen hochgeladen
AMD RX 7600 XT 16 GB 288 GB/s 840.85 tok/s 609.00 ms 53 tok/s 190 W 2 vor 4 Wochen hochgeladen
Intel Arc A770 8 GB 8 GB 512 GB/s 1,073.85 tok/s 477.00 ms 53 tok/s 225 W 1 vor 4 Wochen hochgeladen
Intel Arc A770 16 GB 16 GB 560 GB/s 1,073.85 tok/s 477.00 ms 53 tok/s 225 W 1 vor 4 Wochen hochgeladen
Apple M4 Pro 20-core GPU 24 GB 273 GB/s 439.78 tok/s 1,164.00 ms 51 tok/s 45 W 1 vor 4 Wochen hochgeladen
Apple M4 Pro 20-core GPU 48 GB 273 GB/s 439.78 tok/s 1,164.00 ms 51 tok/s 45 W 1 vor 4 Wochen hochgeladen
Apple M4 Pro 20-core GPU 64 GB 273 GB/s 439.78 tok/s 1,164.00 ms 51 tok/s 45 W 1 vor 4 Wochen hochgeladen
AMD RX 6600 8 GB 224 GB/s 761.89 tok/s 672.00 ms 51 tok/s 132 W 1 vor 4 Wochen hochgeladen
Apple M4 Pro 16-core GPU 24 GB 273 GB/s 364.06 tok/s 1,406.00 ms 50 tok/s 25 W 1 vor 4 Wochen hochgeladen
Apple M4 Pro 16-core GPU 48 GB 273 GB/s 364.06 tok/s 1,406.00 ms 50 tok/s 25 W 1 vor 4 Wochen hochgeladen
Intel Arc B570 10 GB 380 GB/s 913.95 tok/s 560.00 ms 50 tok/s 150 W 1 vor 4 Wochen hochgeladen
Intel Arc A750 8 GB 512 GB/s 303.37 tok/s 1,688.00 ms 44 tok/s 225 W 1 vor 4 Wochen hochgeladen
Apple M2 Pro 19-core GPU 16 GB 200 GB/s 341.19 tok/s 1,501.00 ms 39 tok/s 28 W 1 vor 4 Wochen hochgeladen
Apple M2 Pro 19-core GPU 32 GB 200 GB/s 341.19 tok/s 1,501.00 ms 39 tok/s 28 W 1 vor 4 Wochen hochgeladen
Apple M2 Pro 16-core GPU 32 GB 200 GB/s 294.24 tok/s 1,740.00 ms 38 tok/s 25 W 1 vor 4 Wochen hochgeladen
Apple M2 Pro 16-core GPU 16 GB 200 GB/s 294.24 tok/s 1,740.00 ms 38 tok/s 25 W 1 vor 4 Wochen hochgeladen
Apple M1 Pro 16-core GPU 16 GB 200 GB/s 266.25 tok/s 1,923.00 ms 36 tok/s 21 W 1 vor 4 Wochen hochgeladen
Apple M1 Pro 16-core GPU 32 GB 200 GB/s 266.25 tok/s 1,923.00 ms 36 tok/s 21 W 1 vor 4 Wochen hochgeladen
Apple M1 Pro 14-core GPU 16 GB 200 GB/s 232.55 tok/s 2,202.00 ms 36 tok/s 15 W 1 vor 4 Wochen hochgeladen
Apple M1 Pro 14-core GPU 32 GB 200 GB/s 232.55 tok/s 2,202.00 ms 36 tok/s 15 W 1 vor 4 Wochen hochgeladen
Apple M3 Pro 18-core GPU 18 GB 150 GB/s 341.67 tok/s 1,498.00 ms 31 tok/s 28 W 1 vor 4 Wochen hochgeladen
Apple M3 Pro 18-core GPU 36 GB 150 GB/s 341.67 tok/s 1,498.00 ms 31 tok/s 28 W 1 vor 4 Wochen hochgeladen
Apple M3 Pro 14-core GPU 18 GB 150 GB/s 269.49 tok/s 1,900.00 ms 31 tok/s 24 W 1 vor 4 Wochen hochgeladen
Apple M3 Pro 14-core GPU 36 GB 150 GB/s 269.49 tok/s 1,900.00 ms 31 tok/s 24 W 1 vor 4 Wochen hochgeladen
AMD RX 6500 XT 4 GB 144 GB/s 255.25 tok/s 2,006.00 ms 28 tok/s 113 W 1 vor 4 Wochen hochgeladen
Apple M4 10-core GPU 16 GB 120 GB/s 221.29 tok/s 2,314.00 ms 24 tok/s 8 W 1 vor 4 Wochen hochgeladen
Apple M4 10-core GPU 24 GB 120 GB/s 221.29 tok/s 2,314.00 ms 24 tok/s 8 W 1 vor 4 Wochen hochgeladen
Apple M4 10-core GPU 32 GB 120 GB/s 221.29 tok/s 2,314.00 ms 24 tok/s 8 W 1 vor 4 Wochen hochgeladen
Apple M2 10-core GPU 8 GB 100 GB/s 179.57 tok/s 2,852.00 ms 22 tok/s 14 W 1 vor 4 Wochen hochgeladen
Apple M2 10-core GPU 16 GB 100 GB/s 179.57 tok/s 2,852.00 ms 22 tok/s 14 W 1 vor 4 Wochen hochgeladen
Apple M2 10-core GPU 24 GB 100 GB/s 179.57 tok/s 2,852.00 ms 22 tok/s 14 W 1 vor 4 Wochen hochgeladen
Apple M3 10-core GPU 8 GB 100 GB/s 186.75 tok/s 2,742.00 ms 21 tok/s 15 W 1 vor 4 Wochen hochgeladen
Apple M3 10-core GPU 16 GB 100 GB/s 186.75 tok/s 2,742.00 ms 21 tok/s 15 W 1 vor 4 Wochen hochgeladen
Apple M3 10-core GPU 24 GB 100 GB/s 186.75 tok/s 2,742.00 ms 21 tok/s 15 W 1 vor 4 Wochen hochgeladen
Apple M1 7-core GPU 8 GB 67 GB/s 107.81 tok/s 4,750.00 ms 14 tok/s 10 W 1 vor 4 Wochen hochgeladen
Apple M1 7-core GPU 16 GB 67 GB/s 107.81 tok/s 4,750.00 ms 14 tok/s 10 W 1 vor 4 Wochen hochgeladen
Apple M1 8-core GPU 8 GB 67 GB/s 117.96 tok/s 4,340.00 ms 14 tok/s 10 W 1 vor 4 Wochen hochgeladen
Apple M1 8-core GPU 16 GB 67 GB/s 117.96 tok/s 4,340.00 ms 14 tok/s 10 W 1 vor 4 Wochen hochgeladen
AMD RX 6400 4 GB 128 GB/s 53 W 0
AMD RX 6700 10 GB 320 GB/s 175 W 0
AMD RX 6750 GRE 12 GB 12 GB 432 GB/s 250 W 0
AMD RX 6750 GRE 10 GB 10 GB 320 GB/s 170 W 0
AMD RX 6950 XT 16 GB 576 GB/s 335 W 0
AMD RX 7600 8 GB 288 GB/s 165 W 0
AMD RX 7700 XT 12 GB 432 GB/s 245 W 0
AMD RX 9060 8 GB 288 GB/s 132 W 0
Apple M1 7-core GPU 8 GB 67 GB/s 10 W 0
Apple M2 8-core GPU 8 GB 100 GB/s 10 W 0
Apple M2 8-core GPU 16 GB 100 GB/s 10 W 0
Apple M2 8-core GPU 24 GB 100 GB/s 10 W 0
Apple M3 8-core GPU 8 GB 100 GB/s 15 W 0
Apple M3 8-core GPU 16 GB 100 GB/s 15 W 0
Apple M3 8-core GPU 24 GB 100 GB/s 15 W 0
Apple M4 8-core GPU 16 GB 120 GB/s 4 W 0
Apple M4 8-core GPU 24 GB 120 GB/s 4 W 0
Apple M4 8-core GPU 32 GB 120 GB/s 4 W 0
Apple M4 9-core GPU 12 GB 120 GB/s 6 W 0
Apple M5 8-core GPU 16 GB 153 GB/s 8 W 0
Apple M5 8-core GPU 24 GB 153 GB/s 8 W 0
Apple M5 8-core GPU 32 GB 153 GB/s 8 W 0
Apple M5 10-core GPU 16 GB 153 GB/s 8 W 0
Apple M5 10-core GPU 24 GB 153 GB/s 8 W 0
Apple M5 10-core GPU 32 GB 153 GB/s 8 W 0
Apple M5 Max 32-core GPU 36 GB 460 GB/s 60 W 0
Apple M5 Max 40-core GPU 48 GB 614 GB/s 72 W 0
Apple M5 Max 40-core GPU 64 GB 614 GB/s 72 W 0
Apple M5 Max 40-core GPU 128 GB 614 GB/s 72 W 0
Apple M5 Pro 20-core GPU 24 GB 307 GB/s 38 W 0
Apple M5 Pro 20-core GPU 48 GB 307 GB/s 38 W 0
Apple M5 Pro 20-core GPU 64 GB 307 GB/s 38 W 0
Intel Arc A310 4 GB 124 GB/s 75 W 0
Intel Arc A380 6 GB 186 GB/s 75 W 0
Intel Arc A580 8 GB 512 GB/s 185 W 0
NVIDIA RTX 3050 6 GB 6 GB 168 GB/s 70 W 0
NVIDIA RTX 3050 8 GB 8 GB 224 GB/s 130 W 0
NVIDIA RTX 3060 Ti 448 GB/s 8 GB 448 GB/s 200 W 0
NVIDIA RTX 3060 Ti 608 GB/s 8 GB 608 GB/s 200 W 0
NVIDIA RTX 3070 Ti 8 GB 608 GB/s 290 W 0
NVIDIA RTX 3080 Ti 12 GB 912 GB/s 350 W 0
NVIDIA RTX 3090 Ti 24 GB 1,008 GB/s 450 W 0
NVIDIA RTX 4060 8 GB 272 GB/s 115 W 0
NVIDIA RTX 4060 Ti 16 GB 16 GB 288 GB/s 165 W 0
NVIDIA RTX 4060 Ti 8 GB 8 GB 288 GB/s 160 W 0
NVIDIA RTX 4070 SUPER 12 GB 504 GB/s 220 W 0
NVIDIA RTX 4080 16 GB 717 GB/s 320 W 0
NVIDIA RTX 5050 8 GB 320 GB/s 130 W 0
NVIDIA RTX 5060 8 GB 448 GB/s 145 W 0
NVIDIA RTX 5070 12 GB 672 GB/s 250 W 0