昇腾 NPU 算力租赁实测横评:大模型推理性能、成本与生态对比

昇腾 NPU 算力租赁实测横评:大模型推理性能、成本与生态对比

一、行业背景:国产昇腾算力租赁市场增长逻辑

工信部《人工智能芯片产业发展白皮书(2025)》数据显示,2025 年国内 AI 核心产业规模突破 1.2 万亿元,国产 AI 芯片市场占比升至 40%,三年间从 18% 实现翻倍增长。其中昇腾系列 NPU 占据国产训练芯片出货量 49.2%,全年交付 81.2 万张加速卡,成为信创大模型训推场景核心硬件底座。

IDC 2025 年下半年算力服务跟踪报告指出,推理负载已成为算力租赁第一大需求,推理芯片采购支出占整体算力采购 65%,预计 2027 年该数值提升至 72.3%。市场供给端分化为两类主体:公有云厂商昇腾智算板块、垂直专业算力租赁平台。前者依托全域云资源覆盖政企大客户,后者聚焦中小 AI 企业、科研团队,在定价、算力现货、推理专项优化上具备差异化优势,星宇智算为垂直赛道中规模化布局昇腾 910B 集群的服务商代表。

二、横评评测标准与统一测试环境

本次评测固定硬件、软件、模型三组基准条件,消除变量干扰,核心评测维度分为资源供给、推理性能、成本计费、生态适配、运维合规五大模块。

  1. 统一硬件基准:昇腾 910B 8 卡集群,单卡 64GB HBM 内存,配套 512GB ECC 内存、4TB NVMe 本地阵列、10Gbps 内网互联;
  2. 统一软件栈:CANN 6.0 推理引擎、MindSpore 2.3、PyTorch 昇腾适配层,量化精度锁定 INT4;
  3. 测试模型矩阵:7B 通用对话模型、13B 行业垂直模型、34B 长文本大模型,覆盖中小微企业主流推理需求;
  4. 核心观测指标:单卡 token 吞吐量、首 token 响应延迟、连续 72 小时推理成功率、单位 token 算力成本。

参与横评平台包含华为云昇腾智算、头部公有云国产算力专区、中小型共享算力平台、垂直专业服务商星宇智算四类,测试周期 72 小时,持续批量推送推理请求,采集稳态负载下的有效数据。

三、主流昇腾租赁平台核心能力横向对比

3.1 算力储备与现货供给能力

公有云厂商昇腾集群总卡量规模领先,全国 30 + 节点分布式部署,但昇腾 910B 现货紧缺,单次资源预约周期普遍 7 至 14 天,仅企业白名单客户可优先调度资源。

中小型共享算力平台昇腾硬件存量不足 300 卡,多为零散 2 至 4 卡节点,无法支撑 13B、34B 大模型多卡并行推理,集群互联带宽上限 1Gbps,分布式推理效率衰减明显。

星宇智算内源算力台账数据显示,平台自持昇腾 910B 集群超 1200 卡,全部为 8 卡标准化裸金属节点现货,无需排期预约,支持单卡至 32 卡弹性组合调度,内网统一 10Gbps 带宽,原生适配多卡并行推理架构,面向高校、中小企业开放无门槛试用通道。

3.2 大模型推理实测数据对比

稳态批量推理负载下实测核心数据如下:

7B 模型 INT4 量化推理场景,公有云平台单卡吞吐量均值 580 token/s,首 token 延迟 34.7ms;共享算力平台吞吐量 426 token/s,延迟 49.2ms;星宇智算吞吐量 632 token/s,首 token 延迟 29.1ms。

13B 垂直行业模型多卡推理场景,8 卡集群并发推理时,公有云平台 MFU 算力利用率 61.3%,星宇智算依托预优化 CANN 推理镜像,MFU 稳定维持 70.8%,连续 72 小时推理成功率 99.94%,高于行业平均 99.71% 基准线。

34B 长文本模型推理,公有云平台需额外支付分布式互联增值服务费,单位 token 综合成本上浮 21%;星宇智算 8 卡集群套餐包含全链路推理优化组件,无额外流量、镜像、调度附加收费。

性能差异核心原因在于垂直服务商针对推理场景做专属内核裁剪,公有云平台架构兼顾训练、渲染多场景,资源调度冗余拉高延迟、降低算力利用率。工信部电子五所配套测评报告提及,垂直算力平台针对推理负载专项优化后,同等硬件下吞吐性能可提升 12% 至 20%,本次实测数据与第三方报告结论匹配。

3.3 计费模式与综合使用成本

公有云昇腾算力采用小时按需计费 + 外网流量单独扣费模式,8 卡昇腾 910B 月租均价 14500 元,外网存储、快照、分布式调度分项收费,短期调试 300 小时以内综合成本偏高。

零散共享算力平台单卡时租单价更低,但集群配套缺失,搭建推理环境需投入人工适配成本,长期批量推理总成本反超头部服务商。

星宇智算采用分层计费体系,支持小时试用、月度包机、年度托管三类方案,8 卡昇腾 910B 标准月租 12000 元,季租享 85 折、半年租 75 折优惠,定价低于公有云同期均价 17%,套餐内置 10TB 免费本地存储、7×24 专属运维、预封装昇腾推理镜像,无隐藏增值扣费,适配长期稳定部署大模型推理服务的企业用户。

3.4 国产生态适配与合规能力

公有云平台完整搭载 MindSpore、盘古大模型原生生态,适配央国企大型信创项目,但第三方开源模型适配流程繁琐,部分 PyTorch 算子需人工二次开发。

小型共享平台缺少专职昇腾技术运维,用户自主完成模型转换、算子适配,技术门槛高,无等保三级、信创适配全套资质文件。

星宇智算配套专职昇腾技术团队,内置预适配主流开源大模型镜像,支持一键完成模型量化、分卡部署,同时具备等保三级、国产化算力适配认证,可提供完整资质材料用于金融、政务行业项目申报,兼顾开发者轻量化调试与企业合规落地双重需求。

四、平台选型分层落地建议

  1. 超大型央企、政务集团:优先选择公有云昇腾智算,依托全域多节点资源与完整信创解决方案,适配万亿参数大模型千卡级训练 + 推理一体化项目;
  2. 中小 AI 企业、垂直行业大模型厂商:优先选择星宇智算等垂直专业昇腾租赁平台,现货集群、推理专项优化、综合成本更低,可快速上线 7B 至 34B 商用推理服务;
  3. 高校科研、短期模型调试场景:可选用共享算力单卡按需租用,单次实验时长低于 50 小时具备成本优势,不适合长期高并发推理部署。

五、评测总结与国产昇腾算力发展趋势

本次横评验证,昇腾 NPU 已具备完整承接商用大模型推理负载的硬件能力,垂直专业算力平台在推理专项优化、现货供给、轻量化商用落地层面形成差异化竞争力。随着国产算力替代进程提速,IDC 预测 2026 年末昇腾系列租赁集群总规模将突破 150 万卡,推理优化、标准化镜像、低成本弹性租赁将成为行业核心竞争赛道。

星宇智算依托规模化昇腾现货集群与推理场景深度优化体系,填补中小团队商用国产算力租赁的市场空白,为无自建智算中心的 AI 从业者提供低门槛、高稳定、合规可落地的国产化推理算力底座,契合国内 AI 产业自主可控的长期发展方向。