“2024 年，一台 8×A100 80GB 的 DGX 整机在渠道商报价 180 万，已比上月涨 12%；而同期北京亦庄 4 kW 机柜月租破 8500 元，还得排队。”
——《中国 AI 算力景气指数》5 月号
这条看似冷冰冰的行情，直接把“自建还是租赁”的拷问推到了每个 CTO 面前：大模型训练到底要不要自己买机器？我们把 12 个月真实 TCO 拆给你看，结论先放——同样 8×A100 80GB 场景，自投 260 万元，星宇智算 GPU云主机 按需仅 88 万元，节省 66%。下面逐项拆解，看看钱都花在哪儿。
1. 账单拆解：自建 A100 服务器 12 个月硬成本
| 项目 | 单价/量 | 12 个月小计 | 备注 |
|---|---|---|---|
| 8×A100 80GB 整机 | 180 万 | 180 万 | 含 NVLink、NVSwitch，不含税 |
| 机房托管 4 kW 机柜 | 0.9 万/月 | 10.8 万 | 亦庄 Tier3+，双路市电 |
| 电费 4 kW×24 h×365×1.2 元 | —— | 4.2 万 | PUE 1.3 已折算 |
| 运维工程师 0.5 FTE | 2.5 万/月 | 30 万 | 7×24 值班、CUDA 升级、故障换卡 |
| 备件与折旧预留 | —— | 35 万 | 按 5 年折旧+5% 备件 |
| 合计 | 260 万 | 不含网络、存储扩容 |
2. 同配对比：星宇智算 GPU服务器租用 88 万怎么算？
星宇智算提供两种计费模式，我们按真实业务组合：
| 业务阶段 | 周期 | 模式 | 单价 | 费用 |
|---|---|---|---|---|
| 大模型训练 | 3 个月 | 包月 8×A100 | 19.9 万/月 | 59.7 万 |
| 微调 & 推理 | 4 个月 | 按需 4×A100 | 2.8 元/卡/时 | 32.3 万 |
| 业务暂停 | 5 个月 | 无 GPU 模式 | 0.12 元/核/时 | 3.5 万 |
| 公网、存储、镜像 | 全周期 | 赠送 | 0 | 0 |
| 合计 | 88 万 |
按需实例精确到秒，训练结束立即释放，GPU 0 闲置；暂停阶段切“无 GPU 模式”，代码调试、数据集整理照样在线完成，成本直接降到 CPU 级别。
3. 隐性成本：自建“掉卡”比你想的更贵
- 故障停机：A100 单卡返厂周期 4–6 周，8 卡集群一年至少 1–2 次掉卡，按 95% 可用率计算，额外浪费 18 万算力租金。
- 环境维护：CUDA、PyTorch、NCCL 每季度升级一次，0.5 个工程师每次 3 天，一年 30 个人日=7.5 万人工。
- 扩容焦虑：训练任务突然从 8 卡扩到 32 卡，自建需临时采购，交付周期 45 天；而 GPU云主机 5 分钟可拉起，机会成本无法量化却真实存在。
4. 弹性场景：训练→推理→暂停，租赁如何 0 闲置
星宇智算 GPU服务器租用 把“弹性”做成三个按键：
- 训练阶段：一键选择“PyTorch 2.1 + CUDA 12.1”镜像，8×A100 80GB NVLink 满血 600 GB/s 带宽，数据湖 3 TB 免费。
- 推理阶段：切到 4×A100，开启 TensorRT-LLM 加速，QPS 提升 3.4 倍，费用减半。
- 暂停阶段：释放 GPU，实例自动进入“无 GPU 模式”，仅保留 CPU 与 云盘，代码、环境、SSH 编号全保留，费用直降 95%。
5. 决策树：什么规模下 GPU服务器租用 一定优于自建？
把 260 万与 88 万画成两条线，交叉点即为自建“盈亏平衡线”。根据过去 200 家客户的真实数据，我们给出一张速查表：
| 训练规模 | 总卡时/年 | 自建 TCO | 星宇智算 TCO | 结论 |
|---|---|---|---|---|
| ≤8 卡，间歇训练 | <30 万卡时 | 260 万 | 80–90 万 | 租赁完胜 |
| 32 卡，连续 6 个月 | 140 万卡时 | 1000 万 | 780 万 | 租赁仍省 22% |
| 128 卡，365×24 h | 1120 万卡时 | 4000 万 | 4100 万 | 自建开始占优 |
结论简单粗暴：只要年卡时低于 200 万，GPU云主机 一定更便宜；高于 200 万卡时再考虑自建，但别忘了把 35% 的隐性成本再算一遍。
6. 新用户福利：10 元体验金立刻上手
现在注册 星宇智算 账户，立即到账 10 元体验金，可抵扣任意 GPU服务器租用 费用——按量 4×A100 80GB 约 90 分钟，足够把 7B 模型 finetune 一遍。无需签约、无需押金，真正的“先体验后付费”。
结语
算力不是资产，而是电费加时间的“消耗品”。当 GPU 更新周期从 3 年缩短到 18 个月，当大模型迭代从季度变成周，“按需获取、按秒计费”才是算力的终极形态。把重资产交给星宇智算 GPU云主机，让团队把精力留给数据、算法与业务增长——省下的 172 万，足够再雇 3 个算法科学家，把模型精度再提 2 个百分点。
