
“Meta 刚把 6GW 的 GPU 订单交给 AMD,开源大模型就像开闸的洪水一样涌出来。”
——某硅谷投资人朋友圈,48 小时内点赞破千
这条消息在本周的 Hacker News 热榜挂了整整 12 小时。Meta 与 AMD 的联合声明不仅坐实了“开源模型 x 开源算力”的路线,更让「微调」成为所有算法团队的下一个战场:Llama-4 系列、Gemma-3、Qwen2.5……参数越做越小,效果却越调越好。LoRA、QLoRA 这些“四两拨千斤”的方案,成了标配。
但真正的门槛不在代码,而在卡。
一张 AMD 即将量产的 MI450 拥有 192GB HBM3e 显存,原生支持 ROCm 6.2,官方报价 8 万元起步,订货周期 8 周起跳。对于要跑 64 卡并行做 LoRA 实验的课题组来说,光硬件就要先掏 512 万,还没算机房、电费和运维。于是,“谁能第一时间租到 MI450” 成了 Slack 群里最高频的问题。
星宇智算的回答是:本周上架 MI450 预览节点,1.2 元/卡·时,随开随停,ROCm 镜像一键拉起。
为什么 MI450 成了 LoRA 的“黄金搭档”
- 显存大:192GB 可以原地放下 Llama-4-8B 全量参数+梯度+优化器状态,QLoRA 直接开到 nf4,batch 还能拉到 64。
- 带宽高:5.3TB/s 的显存带宽,让微调的通信瓶颈从 GPU 内部转移到网络层,星宇智算内网 200Gbps RDMA 刚好补齐短板。
- 生态顺:ROCm 6.2 已经内置 PyTorch 2.3、DeepSpeed、vLLM、Xformers,LoRA 脚本无需改一行代码就能跑。
一句话:MI450 把“大模型微调”从工程活儿变成了笔记本上的脚本。
价格账:买还是租?
| 方案 | 单卡成本 | 64 卡并行成本 | 交付周期 | 3 个月总花费* |
|---|---|---|---|---|
| 自购 MI450 | 8 万元 | 512 万元 | 8–10 周 | 512 万(资产折旧) |
| 星宇智算租用 | 1.2 元/时 | 0 元押金 | 实时 | 16.6 万元 |
*按每天跑 8 小时、每月 22 个工作日计算。若任务结束立即停机,成本还能再降。
换句话说,把买卡的钱换成租卡,可以跑 31 轮 3 个月的实验周期——对需要反复调参的 LoRA 研究,这就是“试错自由”。
实战:Llama-4-Chinese 8B+LoRA,3 小时收敛
为了验证“租得起”是否等于“跑得动”,星宇智算内部用 8 张 MI450 做了一次公开回放:
- 模型:Meta-Llama-4-Chinese-8B
- 微调方法:LoRA,r=64,α=128,target=q_proj,v_proj
- 数据:120 万条中文指令,token 数 2.1B
- 框架:DeepSpeed ZeRO-3 + FlashAttention-2
- 训练:3 epoch,共 3200 步,耗时 2 小时 57 分
- 花费:8 卡 × 3h × 1.2 元 = 28.8 元
- 效果:在 CMMLU 五-shot 上从 61.4 提升到 71.2,成本不到 30 元。
直播结束那一刻,弹幕刷屏最多的是:“200 元就能把 8B 中文模型调到可用,还要什么自行车?”
星宇智算还做了什么
- ROCm 一键镜像:开机即带 pytorch:2.3-rocm6.2,内置 bitsandbytes、peft、transformers 最新版,LoRA 脚本 git pull 就能跑。
- 持久化云存储:训练数据、checkpoint、TensorBoard 日志写在/shared 盘,关机不丢,跨节点共享。
- 弹性组网:单实例最多 256 卡,支持 200Gbps RDMA,AllReduce 延迟 < 2μs,几乎线性加速。
- 开发即市场:训练完的模型可直接上架星宇智算 AI 应用市场,平台提供自动扩容、API 网关、按量计费,让算法团队第一次真正“睡后收入”。
- 新手红包:新注册用户自动到账 10 元体验金,够跑 8 卡 MI450 整整 1 小时,足够把 7B 模型 LoRA warmup 跑通。
写在最后
Meta 与 AMD 的 6GW 订单只是信号,真正的浪潮是“开源模型+开源算力”把微调门槛打到地板价。当一张 8 万元的卡变成 1.2 元/时的“水电”,创新的唯一瓶颈就只剩下想象力。星宇智算把 MI450 预览节点摆到云端,让高校实验室、创业公司乃至独立开发者都能“先跑起来,再考虑商业化”。
下一次,当你的同事还在排队等 A100 的时候,你或许已经用 200 元在星宇智算上训出了更懂中文的 Llama-4。
登录 xycloud.cn,注册输入邀请码「AMD6GW」,10 元体验金立即到账。
开源大模型的微调潮已至,这一次,别让预算成为你的天花板。
