只考虑购买完整主机/工作站的一次性成本，不考虑租用。速度为社区实测单用户 decode 范围（受量化、引擎、卸载、上下文影响大）。整机价格为 2026 年 11 月大致市场价（新机/组装，含合理 CPU、128GB+ RAM、SSD、电源等），实际因配置和地区波动。
自购整机大表
| 整机配置 | 典型量化 / 引擎 | 单用户 Decode (tok/s) | 预估整机价格 (USD) | 每 100 tok/s 对应整机成本 | 优缺点 / 推荐指数 |
|---|---|---|---|---|---|
| 入门消费级 | |||||
| RTX 4090 24GB + 96–128GB RAM 整机 | IQ3/Q3 + llama.cpp / Strata + 卸载 | 30–110 | 4,500–7,000（二手卡更低） | 约 4k–23k | 性价比高，需强卸载；二手卡可压到更低 |
| RTX 5090 32GB + 96–128GB RAM 整机 | IQ2/IQ3 + Strata / Infernix + MTP | 50–200+（优化可达 150–390） | 6,000–12,000+ | 约 3k–24k | 单卡最强消费方案，价格高但速度优秀 |
| 2× RTX 3090/4090 + 大内存整机 | 低 bit + 卸载 / 部分并行 | 80–150+ | 5,000–9,000 | 约 3k–11k | 二手多卡性价比好，组装稍麻烦 |
| AMD R9700 工作站系列 | |||||
| 1× R9700 32GB + 64–128GB RAM 整机 | Q3/Q4 + Vulkan/Strata + 卸载 | 20–50+ | 3,500–6,000 | 约 7k–30k | 入门 AMD，速度中等，功耗友好 |
| 2× R9700（64GB 总）整机 | 3/4-bit 专家 + Paiton / Radiance + MTP | 100–216（常见 150–190） | 5,000–9,000 | 约 2.5k–9k | 性价比最高推荐，长上下文稳，功耗可控 |
| 4× R9700（128GB 总）工作站 | FP8 / Int4 + Radiance TP + MTP | 145–236（单流） | 10,000–18,000 | 约 4k–12k | 本地高吞吐多用户最优之一，需大机箱/电源 |
| Apple Silicon | |||||
| Mac Studio M5 Ultra 96GB | MLX / llama.cpp 优化 | 100–160 | 5,500–7,000 | 约 3.5k–7k | 安静、功耗低、统一内存方便，生态稍不同 |
| Mac Studio M5 Ultra 256GB | 同上 | 120–170+ | 9,500–12,000 | 约 5.5k–10k | 更大内存，适合更长上下文/更高质量量化 |
| 高端专业 | |||||
| RTX PRO 6000 级 96GB 工作站 | NVFP4 / FP8 + SGLang | 140–180 | 15,000–25,000+ | 约 8k–18k | 单卡大 VRAM，价格昂贵 |
关键结论（自购视角）
- 最佳性价比：2× Radeon AI PRO R9700 整机（约 5k–9k 美元）。速度实用（150+ tok/s 常见），总 VRAM 足够，功耗可限制到 210W/卡，长期电费低，组装相对容易。
- 单卡最强速度：RTX 5090 整机（优化后可轻松破 150–200 tok/s），但卡本身溢价高，整机常超 8k–10k。
- 预算有限：二手 RTX 4090 / 3090 多卡或单卡 + 大内存，整机可控制在 5k 以内，速度仍可接受。
- 追求安静/低功耗：Mac Studio M5 Ultra 96GB 或 256GB，统一内存对卸载友好，实测速度不俗。
- 多用户/高吞吐本地：4× R9700 工作站（约 1–1.8 万美元），性价比远超同等 VRAM 的 NVIDIA 专业卡。
成本计算说明：
“每 100 tok/s 对应整机成本” = 整机价格 ÷ (典型速度 / 100)。数字越低越好。自有硬件长期几乎只有电费（R9700 / Mac 更省电），摊销后实际使用成本极低。
接下来，我再补充一个多并发比较的版本：
更新后的自购整机大表（增加“保持单流约 100 tok/s 的最大并发数”）
以单流约 100 tok/s 为基准，估算在典型优化配置下（MTP / 投机解码 + 合适量化）能同时支撑多少用户，且每路仍接近或高于 100 tok/s。
数据来自社区实测（Paiton、Radiance、Strata、QEngine 等），实际会因上下文长度、KV 量化、引擎版本波动。长上下文会显著降低并发能力。
| 整机配置 | 单用户 Decode (tok/s) | 保持 ≈100 tok/s/流 的最大并发数 | 预估整机价格 (USD) | 每 100 tok/s 整机成本 | 备注 |
|---|---|---|---|---|---|
| 消费级单卡 | |||||
| RTX 4090 24GB + 大内存 | 30–110 | 1（极限优化约 1） | 4,500–7,000 | 4k–23k | 并发能力弱，主要靠卸载 |
| RTX 5090 32GB + 大内存 | 50–200+（优化 150–390） | 1–2（高优化时 2 勉强） | 6,000–12,000+ | 3k–24k | 单流强，但并发受 VRAM/带宽限制 |
| 2× RTX 3090/4090 | 80–150+ | 1–2 | 5,000–9,000 | 3k–11k | 实用但扩展性一般 |
| AMD R9700 系列 | |||||
| 1× R9700 + 大内存 | 20–50+ | 0–1 | 3,500–6,000 | 7k–30k | 单流勉强达标，并发几乎没有 |
| 2× R9700（64GB） | 100–216（常见 150–190） | 3–5（实测 8 并发聚合 565 → 平均约 70；优化后可维持 3–5 路 ≈100） | 5,000–9,000 | 2.5k–9k | 性价比之王。Paiton 8 并发聚合 565 tok/s |
| 4× R9700（128GB） | 145–236 | 6–10+ | 10,000–18,000 | 4k–12k | 多用户本地最优之一，聚合吞吐高 |
| Apple Silicon | |||||
| Mac Studio M5 Ultra 96GB | 100–160 | 1–2 | 5,500–7,000 | 3.5k–7k | 统一内存友好，并发中等 |
| Mac Studio M5 Ultra 256GB | 120–170+ | 2–4 | 9,500–12,000 | 5.5k–10k | 内存更大，并发更好 |
| 高端专业 | |||||
| RTX PRO 6000 级 96GB | 140–180+ | 2–4 | 15,000–25,000+ | 8k–18k | 单卡大 VRAM，并发中等偏上 |
| 2× RTX 5090 | 150–300+ | 4–8 | 12,000–20,000+ | — | 高性能多卡，价格高 |
关键解读（自购视角）
- 最佳综合推荐：2× Radeon AI PRO R9700 整机
单流轻松 150–200+ tok/s，3–5 路并发仍能维持接近 100 tok/s/流，整机价格可控（5–9k），功耗友好。实测 8 并发聚合已超 500 tok/s。 - 追求更高并发：直接上 4× R9700（6–10+ 路），或 2× RTX 5090（价格更高）。
- 单流优先、预算有限：RTX 5090 单卡或 RTX 4090 优化配置，并发基本只能支持 1 人高质量使用。
- 注意点：
- 长上下文（64K–128K+）会明显降低可维持 100 tok/s 的并发数。
- 使用 Paiton / Radiance / 最新 Strata + MTP 时，并发表现最好。
- 实际并发还受系统内存、PCIe 带宽、KV cache 量化影响。