“买卡像抢茅台，租卡像打滴滴。”——这是过去半年 AI 圈里最流行的自嘲。
2024 年 5 月，NVIDIA A100 80G 整机现货报价 42 万元，溢价 40%，仍一机难求；二手市场甚至出现“卡比机贵”的倒挂。当模型参数从 10B 飙到 175B，训练成本成为悬在创业者头上的达摩克利斯之剑。要不要自购？还是转向 GPU服务器租用？我们把账算到小数点后两位。
1. 现货溢价 40%，A100 成了“数字黄金”
IDC 最新渠道报价显示，A100 80G SXM 整机交付周期 8–12 周，溢价率同比再涨 12%。
“哪怕抢到卡，机房、电改、并机、运维，每一步都是坑。”某头部大模型公司采购总监透露，他们去年 Q4 囤的 50 台 A100，仅机房改造就追加 180 万元预算。
现货溢价只是冰山一角，真正的 CAPEX 黑洞藏在后面。
2. 自购 CAPEX：看得见的是 42 万，看不见的是 63 万
以 8×A100 80G 节点为例，一年总拥有成本（TCO）拆解如下：
| 项目 | 金额（万元） | 备注 |
|---|---|---|
| 服务器裸机 | 42 | 含 NVLink 主板 |
| 机房改造 | 8 | 承重、散热、PDU |
| 电力增容 | 5 | 32 kW 双路市电 |
| 日常电费 | 18 | 0.8 元/度，PUE 1.6 |
| 运维人力 | 6 | 2 名工程师 7×24 |
| 备件与折旧 | 8 | 按 3 年折旧残值 20% |
| 合计 | 87 | 不含融资利息 |
这意味着，训练 175B 模型之前，先烧掉一辆保时捷。更麻烦的是，硬件一落地就锁死算力，扩容只能“整节点”追加，弹性几乎为零。
3. 星宇智算 OPEX：像云主机一样用 GPU
星宇智算把“重资产”拆成“轻服务”：
– 按 P（PetaFLOPS）算力 计费，1P 一天 600 元，用 1 小时算 1 小时；
– 支持 秒级弹性扩容，8×A100 节点 3 分钟完成调度；
– 内置 AI 应用 镜像，PyTorch 2.1、DeepSpeed、Megatron-LM 一键即玩；
– 赠送 10 元体验金，新注册即可跑通 6B 模型微调。
“把 GPU 当云主机用”背后，是星宇智算自建 IDC+公有云混合池，全国 6 大可用区，双路液冷，T3+ 级机房 SLA 99.9%。用户无需关心驱动、NCCL、RDMA，专注算法即可。
4. 数据对比：同样 8×A100 80G，一年账簿见真章
假设任务：训练 175B 参数模型，共需 2.4 PFLOPS·day（约 1000 张 A100 跑 24 小时）。
| 模式 | 成本科目 | 支出（万元） | 现金流节奏 |
|---|---|---|---|
| 自购 | 87 TCO + 12% 资金成本 | 97.4 | 一次性 |
| 星宇智算 | 0.6 万/P·day × 2.4 × 365 | 52.6 | 按需月付 |
结论：租赁节省 46% 现金流，且无需承担 3 年后残值归零风险。
若采用 GPU云主机 竞价实例，价格再降 30%，全年成本可压至 37 万元。
5. 缩短回本周期的 3 个技巧
-
“无 GPU 模式”做调试
星宇智算提供 无 GPU 模式，代码验证阶段仅收 CPU 费用，成本低于 0.1 元/小时，可把 30% 训练前耗时成本砍掉。 -
跨实例共享数据集
平台内置 持久化云存储，175B 所需的 3.2 TB 语料只需上传一次，多节点并行读取，节省 20% 数据搬迁时间。 -
模型与框架“一键即玩”
从 LLaMA-Factory 到 ChatGLM3，AI 应用 镜像预装完成，平均节省 6 人天环境搭建，让算法工程师把时间花在调参，而不是调驱动。
6. 写在最后：把重资产留给平台，把创新留给自己
大模型时代，GPU服务器租用 不再是“买不起的无奈”，而是“算得起的策略”。
星宇智算用一张 按需付费的账单，把 97 万 CAPEX 变成 52 万 OPEX，让现金流回正提前 6 个月。
现在注册 starverse-ai.com，立领 10 元体验金，0 成本跑通第一个 AI 应用。
抢卡不如租卡，租卡就上星宇智算——把昂贵的 A100，变成你口袋里的即时算力。
