大模型热潮正酣，一张 NVIDIA H100 却像房价一样牵动人心——去年高峰期，单卡市价 25 万元，云市场租价一度冲到 90 元/时；如今现货价虽回落，但整机柜交付价仍徘徊在 25–28 万区间，而按需算力却已跌至 15–20 元/时。价格腰斩背后，是“自建 GPU 集群”与“弹性 GPU 云主机”两条路线的正面碰撞。五年时间跨度，到底谁才是真正的真香选择？我们拆开 TCO 账本，用数字说话。
行情：一张 H100 的“冰火两重天”
过去 12 个月，H100 从缺货到放量，行情急转直下。
– 现货卡：25 万+/张（含 3 年质保）
– 服务器整机：8 卡 H100 SXM 机型 220–240 万，含 IB 交换、液冷机柜、三年维保
– 公有云按需：90 元/时 → 40 元/时 → 15–20 元/时，跌幅 80%
– 专业 GPU服务器租用 新玩家：星宇智算直接给出 0.18 美元/卡时，折合人民币 ≈1.3 元/卡时，随租随还，无押金
当租价只有自购成本的 1/20，采购部与算法部开始同桌算账：五年生命周期里，电费、机房、运维、折旧、资金占用，每一分钱都要摊到模型训练的每个 token 上。
TCO 模型：自购 VS 星宇智算
我们按五年、8 卡 H100 节点、每天 20 小时运行、PUE 1.3 建模：
| 成本项 | 自建（万元） | 星宇智算（万元） |
|---|---|---|
| CAPEX（硬件） | 230 | 0 |
| 机房改造/租赁 | 45 | 0 |
| 电费（0.65 元/kWh） | 110 | 0 |
| 运维 × 2 名工程师 | 180 | 0 |
| 资金占用（5% 年化） | 58 | 0 |
| 折旧残值（-30%） | -69 | 0 |
| 五年总成本 | 554 | 38 |
| 折算单卡时成本 | 19.2 元 | 1.3 元 |
结论：自建节点每卡时 19.2 元，星宇智算 GPU服务器租用 仅 1.3 元，差距 14 倍。即便把自建机柜跑到满负荷 24×365，也无法降到 8 元以下——资本支出与电费是硬成本，而云化方案把这两部分直接清零。
弹性云主机：随租随还的“算力余额宝”
星宇智算的做法是“化整为零”：把 H100、A100、RTX 4090 等主流 GPU 拆成可分钟级交付的实例，用户通过控制台或 API 一键拉起 GPU云主机，支持关机不计费、镜像持久化、跨节点 RDMA 互联。
– 面向训练：8×H100 节点，NVLink + 400 Gbps InfiniBand，1.3 元/卡时
– 面向推理：1×RTX 4090，0.25 元/时，支持 Triton 一键部署
– 面向调试：无 GPU 模式 0.05 元/时，写代码、调脚本不烧钱
平台内置 300+ 公共数据集、150+ 预训练模型，配合 10 TB 免费跨实例共享存储，把“找数据—下数据—拷数据”三步压缩成“点击挂载”一秒完成。对于高校团队，这意味着不再用 2 M 校园网连夜拖 ImageNet；对于初创公司，这意味着第一天就能拉起 Stable Diffusion XL 做 AI应用 原型。
实战：10B 视觉大模型，自建 300 万预算被“打骨折”
某 985 高校 CV Lab 计划训练 10B 参数的 Vision Transformer，预估需要 8×H100 持续跑 4 个月，外加 30% 的调试冗余。
– 自建方案：采购 8 卡 H100 节点 230 万，配套机房、电表、UPS 扩容 70 万，合计 300 万
– 星宇智算方案：训练周期 120 天 × 20 小时 × 8 卡 × 1.3 元 = 约 42 万
最终，该团队把 258 万预算差额投入数据标注与人才招聘，模型在 108 天内完成两轮预训练 + 三阶段微调，精度指标比原方案提升 1.7%，项目结题时间提前 2 个月。导师的总结只有一句：“科研经费不是拿来买铁疙瘩的，是用来验证想法的。”
结论：训练与微调阶段，弹性 GPU 云主机 > 自建集群
- CAPEX 归零：五年 TCO 成本下降 90%+，资金可投入到算法与数据
- 弹性伸缩：10 分钟可拉起 256 卡，训练完立即释放，没有闲置
- 运维托管：机房、供电、网络、故障配件全部由平台承担
- 生态即开即用：公共模型、数据集、AI 应用一键部署，研发效率提升 40%
当然，如果贵司业务是 7×24 持续推理且 QPS 稳定，自购在第三年可能会追上云的运营成本。但对大模型训练与微调阶段而言，算力需求呈“脉冲式”爆发——今天 512 卡，下周 32 卡，月底又要回 128 卡——只有随租随还的 GPU服务器租用 模式，才能把每一分钱都转化成实实在在的模型性能。
现在注册星宇智算，新用户立领 10 元体验金，0.3 元就能跑 RTX 4090 一小时，H100 单卡也只需 1.3 元。把预算花在算法创新上，让“铁疙瘩”留在云端，或许才是大模型时代的正确打开方式。
