只考虑购买完整主机/工作站的一次性成本，不考虑租用。速度为社区实测单用户 decode 范围（受量化、引擎、卸载、上下文影响大）。整机价格为 2026 年 11 月大致市场价（新机/组装，含合理 CPU、128GB+ RAM、SSD、电源等），实际因配置和地区波动。
自购整机大表
| 整机配置 | 典型量化 / 引擎 | 单用户 Decode (tok/s) | 预估整机价格 (USD) | 每 100 tok/s 对应整机成本 | 优缺点 / 推荐指数 |
|---|---|---|---|---|---|
| 入门消费级 | |||||
| RTX 4090 24GB + 96–128GB RAM 整机 | IQ3/Q3 + llama.cpp / Strata + 卸载 | 30–110 | 4,500–7,000（二手卡更低） | 约 4k–23k | 性价比高，需强卸载；二手卡可压到更低 |
| RTX 5090 32GB + 96–128GB RAM 整机 | IQ2/IQ3 + Strata / Infernix + MTP | 50–200+（优化可达 150–390） | 6,000–12,000+ | 约 3k–24k | 单卡最强消费方案，价格高但速度优秀 |
| 2× RTX 3090/4090 + 大内存整机 | 低 bit + 卸载 / 部分并行 | 80–150+ | 5,000–9,000 | 约 3k–11k | 二手多卡性价比好，组装稍麻烦 |
| AMD R9700 工作站系列 | |||||
| 1× R9700 32GB + 64–128GB RAM 整机 | Q3/Q4 + Vulkan/Strata + 卸载 | 20–50+ | 3,500–6,000 | 约 7k–30k | 入门 AMD，速度中等，功耗友好 |
| 2× R9700（64GB 总）整机 | 3/4-bit 专家 + Paiton / Radiance + MTP | 100–216（常见 150–190） | 5,000–9,000 | 约 2.5k–9k | 性价比最高推荐，长上下文稳，功耗可控 |
| 4× R9700（128GB 总）工作站 | FP8 / Int4 + Radiance TP + MTP | 145–236（单流） | 10,000–18,000 | 约 4k–12k | 本地高吞吐多用户最优之一，需大机箱/电源 |
| Apple Silicon | |||||
| Mac Studio M5 Ultra 96GB | MLX / llama.cpp 优化 | 100–160 | 5,500–7,000 | 约 3.5k–7k | 安静、功耗低、统一内存方便，生态稍不同 |
| Mac Studio M5 Ultra 256GB | 同上 | 120–170+ | 9,500–12,000 | 约 5.5k–10k | 更大内存，适合更长上下文/更高质量量化 |
| 高端专业 | |||||
| RTX PRO 6000 级 96GB 工作站 | NVFP4 / FP8 + SGLang | 140–180 | 15,000–25,000+ | 约 8k–18k | 单卡大 VRAM，价格昂贵 |
关键结论（自购视角）
- 最佳性价比：2× Radeon AI PRO R9700 整机（约 5k–9k 美元）。速度实用（150+ tok/s 常见），总 VRAM 足够，功耗可限制到 210W/卡，长期电费低，组装相对容易。
- 单卡最强速度：RTX 5090 整机（优化后可轻松破 150–200 tok/s），但卡本身溢价高，整机常超 8k–10k。
- 预算有限：二手 RTX 4090 / 3090 多卡或单卡 + 大内存，整机可控制在 5k 以内，速度仍可接受。
- 追求安静/低功耗：Mac Studio M5 Ultra 96GB 或 256GB，统一内存对卸载友好，实测速度不俗。
- 多用户/高吞吐本地：4× R9700 工作站（约 1–1.8 万美元），性价比远超同等 VRAM 的 NVIDIA 专业卡。
成本计算说明：
“每 100 tok/s 对应整机成本” = 整机价格 ÷ (典型速度 / 100)。数字越低越好。自有硬件长期几乎只有电费（R9700 / Mac 更省电），摊销后实际使用成本极低。