Speed vs VRAM by Device 0 744 1,487 2,231 2,974 8 16 24 32 48 64 96 128 192 256 AMD Radeon RX 7600 8GB · 8 GB · 99.1 tok/s · grade S NVIDIA GeForce RTX 4060 · 8 GB · 93.6 tok/s · grade S NVIDIA GeForce RTX 5060 Ti 8GB · 8 GB · 154 tok/s · grade S AMD Radeon RX 7700 XT · 12 GB · 149 tok/s · grade S Intel Arc B580 · 12 GB · 157 tok/s · grade S NVIDIA GeForce RTX 4070 · 12 GB · 174 tok/s · grade S NVIDIA GeForce RTX 4070 SUPER · 12 GB · 174 tok/s · grade S NVIDIA GeForce RTX 5070 · 12 GB · 231 tok/s · grade S ACEMAGIC M1A Pro (i9-13900HK + ARC A770) · 16 GB · 176 tok/s · grade S AMD Radeon RX 7800 XT · 16 GB · 215 tok/s · grade S AMD Radeon RX 9070 · 16 GB · 220 tok/s · grade S AMD Radeon RX 9070 XT · 16 GB · 220 tok/s · grade S Google Cloud TPU v5e · 16 GB · 282 tok/s · grade S Intel Arc A770 16GB · 16 GB · 193 tok/s · grade S NOVATECH AI Workstation (i9-14900K + RTX 5080) · 16 GB · 330 tok/s · grade S NVIDIA GeForce RTX 4060 Ti 16GB · 16 GB · 99.1 tok/s · grade S NVIDIA GeForce RTX 4070 Ti SUPER · 16 GB · 231 tok/s · grade S NVIDIA GeForce RTX 4080 SUPER · 16 GB · 253 tok/s · grade S NVIDIA GeForce RTX 5060 Ti 16GB · 16 GB · 154 tok/s · grade S NVIDIA GeForce RTX 5070 Ti · 16 GB · 308 tok/s · grade S NVIDIA GeForce RTX 5080 Founders Edition · 16 GB · 330 tok/s · grade S AMD Radeon RX 7900 XT · 20 GB · 275 tok/s · grade S NVIDIA Jetson Orin Nano Super Developer Kit · 8 GB · 35.1 tok/s · grade S AMD Radeon RX 7900 XTX · 24 GB · 330 tok/s · grade S NVIDIA GeForce RTX 3090 · 24 GB · 322 tok/s · grade S NVIDIA GeForce RTX 4090 Founders Edition · 24 GB · 347 tok/s · grade S NVIDIA L4 Tensor Core GPU · 24 GB · 103 tok/s · grade S Apple M4 · 32 GB · 41.3 tok/s · grade S Apple M5 · 32 GB · 52.9 tok/s · grade S Apple Mac Mini (M2 Pro, 2023) · 32 GB · 68.9 tok/s · grade S Apple Mac Mini (M4, 2024) · 32 GB · 41.3 tok/s · grade S Google Cloud TPU v6e (Trillium) · 32 GB · 565 tok/s · grade S MacBook Air 13-inch M5 (2026) · 32 GB · 52.9 tok/s · grade S NVIDIA GeForce RTX 5090 Founders Edition · 32 GB · 617 tok/s · grade S Origin PC M-CLASS v2 · 32 GB · 617 tok/s · grade S Corsair AI Workstation 300 (Ryzen AI Max 385) · 48 GB · 88.1 tok/s · grade S NVIDIA L40S · 48 GB · 297 tok/s · grade S NVIDIA RTX 6000 Ada Generation · 48 GB · 330 tok/s · grade S Origin PC L-CLASS v2 · 48 GB · 330 tok/s · grade S Apple M4 Pro (14-core CPU, 20-core GPU) · 64 GB · 94.0 tok/s · grade A Apple M5 Pro (18-core CPU, 20-core GPU) · 64 GB · 106 tok/s · grade A Apple Mac Mini (M4 Pro, 2024) · 64 GB · 94.0 tok/s · grade A Apple Mac Studio (M1 Max, 2022) · 64 GB · 138 tok/s · grade A GMKtec EVO-X2 (Ryzen AI Max+ 395 96GB) · 64 GB · 88.1 tok/s · grade A NVIDIA Jetson AGX Orin 64GB Developer Kit · 64 GB · 70.5 tok/s · grade A NVIDIA A100 SXM4 80GB · 80 GB · 702 tok/s · grade A NVIDIA H100 SXM5 80GB · 80 GB · 1,153 tok/s · grade A Apple Mac Studio (M2 Max, 2023) · 96 GB · 138 tok/s · grade A Corsair AI Workstation 300 (Ryzen AI Max+ 395) · 96 GB · 176 tok/s · grade A GMKtec EVO-X2 (Ryzen AI Max+ 395 128GB) · 96 GB · 88.1 tok/s · grade A Google Cloud TPU v5p · 95 GB · 952 tok/s · grade A Intel Gaudi 2 AI Accelerator · 96 GB · 843 tok/s · grade A MINISFORUM MS-S1 Max (Ryzen AI Max+ 395) · 96 GB · 88.1 tok/s · grade A NIMO Mini PC (Ryzen AI Max+ 395 128GB) · 96 GB · 88.1 tok/s · grade A Acer Veriton GN100 AI Mini · 128 GB · 94.0 tok/s · grade A Apple M4 Max (40-core GPU) · 128 GB · 188 tok/s · grade A Apple M5 Max (18-core CPU, 40-core GPU) · 128 GB · 211 tok/s · grade A Apple Mac Studio (M1 Ultra, 2022) · 128 GB · 275 tok/s · grade A Apple Mac Studio (M4 Max, 2025) · 128 GB · 188 tok/s · grade A ASUS Ascent GX10 - 1TB · 128 GB · 94.0 tok/s · grade A ASUS Ascent GX10 - 2TB · 128 GB · 94.0 tok/s · grade A ASUS Ascent GX10 - 4TB · 128 GB · 94.0 tok/s · grade A Dell Pro Max with GB10 · 128 GB · 94.0 tok/s · grade A GIGABYTE AI TOP ATOM · 128 GB · 94.0 tok/s · grade A HP ZGX Nano AI Station · 128 GB · 94.0 tok/s · grade A Intel Gaudi 3 AI Accelerator · 128 GB · 1,274 tok/s · grade A Lenovo ThinkStation PGX - 1TB · 128 GB · 94.0 tok/s · grade A Lenovo ThinkStation PGX - 4TB · 128 GB · 94.0 tok/s · grade A MacBook Pro 14-inch M4 Max (2024) · 128 GB · 188 tok/s · grade A MacBook Pro 16-inch M5 Max (2026) · 128 GB · 211 tok/s · grade A MacBook Pro 16" M4 Max (2024) · 128 GB · 188 tok/s · grade A MacBook Pro 16" M5 Max (2026) · 128 GB · 211 tok/s · grade A MSI EdgeXpert · 128 GB · 94.0 tok/s · grade A MSI EdgeXpert - 13SUS · 128 GB · 94.0 tok/s · grade A NVIDIA DGX Spark · 128 GB · 94.0 tok/s · grade A NVIDIA H200 SXM 141GB · 141 GB · 1,652 tok/s · grade A NVIDIA Jetson AGX Thor Developer Kit · 128 GB · 94.0 tok/s · grade A UniBox AI495 Pro · 160 GB · 94.0 tok/s · grade A AMD Instinct MI300X · 192 GB · 1,825 tok/s · grade A Apple Mac Studio (M2 Ultra, 2023) · 192 GB · 275 tok/s · grade A Google TPU v7 (Ironwood) · 192 GB · 2,541 tok/s · grade A NVIDIA B200 GPU · 192 GB · 2,754 tok/s · grade A AMD Instinct MI325X · 256 GB · 2,066 tok/s · grade A AMD Instinct MI355X · 288 GB · 2,754 tok/s · grade A Apple M3 Ultra (32-core CPU, 80-core GPU) · 512 GB · 282 tok/s · grade A Apple Mac Studio (M3 Ultra, 2025) · 512 GB · 282 tok/s · grade A ASUS ExpertCenter Pro ET900N G3 · 748 GB · 2,444 tok/s · grade A Dell Pro Max with GB300 · 748 GB · 2,444 tok/s · grade A Gigabyte W775-V10-L01 · 775 GB · 2,444 tok/s · grade A HP ZGX Fury AI Station · 748 GB · 2,444 tok/s · grade A MSI XpertStation WS300 · 748 GB · 2,444 tok/s · grade A SuperMicro Super AI Station · 748 GB · 2,444 tok/s · grade A NVIDIA Jetson Orin NX 16GB Module · 16 GB · 35.3 tok/s · grade A Origin PC S-CLASS Edge AI · 16 GB · 35.3 tok/s · grade A GEEKOM IT15 (Ultra 9 285H) · 8 GB · 31.0 tok/s · grade A Lenovo ThinkCentre P3 Tiny Gen 2 (Ultra 5 235) · 8 GB · 31.0 tok/s · grade A Apple Mac Mini (M2, 2023) · 24 GB · 34.4 tok/s · grade A MINISFORUM AI X1 Pro-370 · 16 GB · 31.0 tok/s · grade A Reatan HTPC (Ryzen AI 9 HX 470 48GB) · 16 GB · 31.0 tok/s · grade A Reatan Mini Gaming PC (Ryzen AI 9 HX 470 with Speaker) · 16 GB · 31.0 tok/s · grade A Reatan X8 (Ryzen AI 9 HX 470 48GB) · 16 GB · 31.0 tok/s · grade A Apple Mac Mini (M1, 2020) · 16 GB · 23.5 tok/s · grade A Raspberry Pi 5 (8GB) · 8 GB · 11.7 tok/s · grade B Device VRAM (GB) Speed (tok/s) S A B
Speed vs Price by Device 0 744 1,487 2,231 2,974 $96 $128 $192 $256 AMD Radeon RX 7600 8GB · $269 · 99.1 tok/s · grade S NVIDIA GeForce RTX 4060 · $299 · 93.6 tok/s · grade S NVIDIA GeForce RTX 5060 Ti 8GB · $379 · 154 tok/s · grade S AMD Radeon RX 7700 XT · $449 · 149 tok/s · grade S Intel Arc B580 · $249 · 157 tok/s · grade S NVIDIA GeForce RTX 4070 · $599 · 174 tok/s · grade S NVIDIA GeForce RTX 4070 SUPER · $599 · 174 tok/s · grade S NVIDIA GeForce RTX 5070 · $549 · 231 tok/s · grade S ACEMAGIC M1A Pro (i9-13900HK + ARC A770) · $799 · 176 tok/s · grade S AMD Radeon RX 7800 XT · $499 · 215 tok/s · grade S AMD Radeon RX 9070 · $549 · 220 tok/s · grade S AMD Radeon RX 9070 XT · $599 · 220 tok/s · grade S Intel Arc A770 16GB · $349 · 193 tok/s · grade S NOVATECH AI Workstation (i9-14900K + RTX 5080) · $3,999 · 330 tok/s · grade S NVIDIA GeForce RTX 4060 Ti 16GB · $499 · 99.1 tok/s · grade S NVIDIA GeForce RTX 4070 Ti SUPER · $799 · 231 tok/s · grade S NVIDIA GeForce RTX 4080 SUPER · $999 · 253 tok/s · grade S NVIDIA GeForce RTX 5060 Ti 16GB · $429 · 154 tok/s · grade S NVIDIA GeForce RTX 5070 Ti · $749 · 308 tok/s · grade S NVIDIA GeForce RTX 5080 Founders Edition · $999 · 330 tok/s · grade S AMD Radeon RX 7900 XT · $899 · 275 tok/s · grade S NVIDIA Jetson Orin Nano Super Developer Kit · $249 · 35.1 tok/s · grade S AMD Radeon RX 7900 XTX · $999 · 330 tok/s · grade S NVIDIA GeForce RTX 3090 · $1,499 · 322 tok/s · grade S NVIDIA GeForce RTX 4090 Founders Edition · $1,599 · 347 tok/s · grade S NVIDIA L4 Tensor Core GPU · $2,500 · 103 tok/s · grade S Apple M4 · $1,399 · 41.3 tok/s · grade S Apple M5 · $1,599 · 52.9 tok/s · grade S Apple Mac Mini (M2 Pro, 2023) · $1,699 · 68.9 tok/s · grade S Apple Mac Mini (M4, 2024) · $999 · 41.3 tok/s · grade S MacBook Air 13-inch M5 (2026) · $1,499 · 52.9 tok/s · grade S NVIDIA GeForce RTX 5090 Founders Edition · $1,999 · 617 tok/s · grade S Origin PC M-CLASS v2 · $6,379 · 617 tok/s · grade S Corsair AI Workstation 300 (Ryzen AI Max 385) · $1,699 · 88.1 tok/s · grade S NVIDIA L40S · $9,000 · 297 tok/s · grade S NVIDIA RTX 6000 Ada Generation · $6,800 · 330 tok/s · grade S Origin PC L-CLASS v2 · $33,072 · 330 tok/s · grade S Apple M4 Pro (14-core CPU, 20-core GPU) · $1,999 · 94.0 tok/s · grade A Apple M5 Pro (18-core CPU, 20-core GPU) · $2,199 · 106 tok/s · grade A Apple Mac Mini (M4 Pro, 2024) · $1,999 · 94.0 tok/s · grade A Apple Mac Studio (M1 Max, 2022) · $1,999 · 138 tok/s · grade A GMKtec EVO-X2 (Ryzen AI Max+ 395 96GB) · $1,799 · 88.1 tok/s · grade A NVIDIA Jetson AGX Orin 64GB Developer Kit · $1,999 · 70.5 tok/s · grade A NVIDIA A100 SXM4 80GB · $15,000 · 702 tok/s · grade A NVIDIA H100 SXM5 80GB · $30,000 · 1,153 tok/s · grade A Apple Mac Studio (M2 Max, 2023) · $3,599 · 138 tok/s · grade A Corsair AI Workstation 300 (Ryzen AI Max+ 395) · $3,399 · 176 tok/s · grade A GMKtec EVO-X2 (Ryzen AI Max+ 395 128GB) · $1,999 · 88.1 tok/s · grade A MINISFORUM MS-S1 Max (Ryzen AI Max+ 395) · $1,899 · 88.1 tok/s · grade A NIMO Mini PC (Ryzen AI Max+ 395 128GB) · $2,299 · 88.1 tok/s · grade A Acer Veriton GN100 AI Mini · $3,999 · 94.0 tok/s · grade A Apple M4 Max (40-core GPU) · $3,199 · 188 tok/s · grade A Apple M5 Max (18-core CPU, 40-core GPU) · $3,499 · 211 tok/s · grade A Apple Mac Studio (M1 Ultra, 2022) · $4,799 · 275 tok/s · grade A Apple Mac Studio (M4 Max, 2025) · $3,699 · 188 tok/s · grade A ASUS Ascent GX10 - 1TB · $3,497 · 94.0 tok/s · grade A ASUS Ascent GX10 - 2TB · $4,006 · 94.0 tok/s · grade A ASUS Ascent GX10 - 4TB · $3,999 · 94.0 tok/s · grade A Dell Pro Max with GB10 · $5,781 · 94.0 tok/s · grade A GIGABYTE AI TOP ATOM · $3,999 · 94.0 tok/s · grade A HP ZGX Nano AI Station · $6,499 · 94.0 tok/s · grade A Lenovo ThinkStation PGX - 1TB · $4,100 · 94.0 tok/s · grade A Lenovo ThinkStation PGX - 4TB · $5,079 · 94.0 tok/s · grade A MacBook Pro 14-inch M4 Max (2024) · $5,099 · 188 tok/s · grade A MacBook Pro 16-inch M5 Max (2026) · $4,899 · 211 tok/s · grade A MacBook Pro 16" M4 Max (2024) · $4,999 · 188 tok/s · grade A MacBook Pro 16" M5 Max (2026) · $4,899 · 211 tok/s · grade A MSI EdgeXpert · $4,679 · 94.0 tok/s · grade A MSI EdgeXpert - 13SUS · $4,699 · 94.0 tok/s · grade A NVIDIA DGX Spark · $4,699 · 94.0 tok/s · grade A NVIDIA H200 SXM 141GB · $35,000 · 1,652 tok/s · grade A NVIDIA Jetson AGX Thor Developer Kit · $3,499 · 94.0 tok/s · grade A AMD Instinct MI300X · $22,000 · 1,825 tok/s · grade A Apple Mac Studio (M2 Ultra, 2023) · $7,999 · 275 tok/s · grade A NVIDIA B200 GPU · $40,000 · 2,754 tok/s · grade A AMD Instinct MI325X · $30,000 · 2,066 tok/s · grade A Apple M3 Ultra (32-core CPU, 80-core GPU) · $5,999 · 282 tok/s · grade A Apple Mac Studio (M3 Ultra, 2025) · $7,999 · 282 tok/s · grade A ASUS ExpertCenter Pro ET900N G3 · $99,999 · 2,444 tok/s · grade A MSI XpertStation WS300 · $85,000 · 2,444 tok/s · grade A NVIDIA Jetson Orin NX 16GB Module · $599 · 35.3 tok/s · grade A Origin PC S-CLASS Edge AI · $1,250 · 35.3 tok/s · grade A GEEKOM IT15 (Ultra 9 285H) · $1,399 · 31.0 tok/s · grade A Lenovo ThinkCentre P3 Tiny Gen 2 (Ultra 5 235) · $1,299 · 31.0 tok/s · grade A Apple Mac Mini (M2, 2023) · $999 · 34.4 tok/s · grade A MINISFORUM AI X1 Pro-370 · $1,099 · 31.0 tok/s · grade A Reatan HTPC (Ryzen AI 9 HX 470 48GB) · $899 · 31.0 tok/s · grade A Reatan Mini Gaming PC (Ryzen AI 9 HX 470 with Speaker) · $999 · 31.0 tok/s · grade A Reatan X8 (Ryzen AI 9 HX 470 48GB) · $999 · 31.0 tok/s · grade A Apple Mac Mini (M1, 2020) · $899 · 23.5 tok/s · grade A Raspberry Pi 5 (8GB) · $80 · 11.7 tok/s · grade B Price (USD) Speed (tok/s) S A B