摘要:主流 AI 视频工具仍锁定 16:9、9:16、1:1 等固定画幅,把 16:9 中心裁切为 9:16 会丢弃约 68% 水平像素,横向运镜、超宽幅商品展示与全景漫游难以实现。星宇智算无限画布基于 Vera1.1 双流 DiT 架构,以推理分块加全局空间坐标系对齐,把画面外扩(outpainting)做成可自由延展的节点式画布。A100、1080P、2 倍外扩实测:像素坐标偏差 ±1.3 像素,边界语义错误率 1.8%,分片色差 ΔE=2–3,热缓存命中率 89%,单任务约 112 秒,商用建议总像素不超过 1 亿(约 10K)。

一、行业现状:固定画幅为什么成了 AI 视频生产的”隐形枷锁”
1.1 三种预设比例,框住了绝大多数工作流
2026 年下半年,主流文生视频模型对外暴露的画幅选项仍然高度收敛。无论是 Google Veo、Runway Gen-4、Pika 还是国内的可灵、即梦,新建项目时用户能选的基本只有 16:9(横屏)、9:16(竖屏)、1:1(方屏)这三到四种预设比例。
更严格的产品实现甚至会忽略用户上传参考图的原始比例。社区反馈显示,Veo 3.1 在接入路径上只接受 9:16 与 16:9,非比例首帧会被自动裁切为最近的支持比例;Veo 2 在 Gemini 网页端实际输出长期固定为 16:9 横版。这意味着,”画幅”在这些工具里不是一个可编辑的连续参数,而是一个离散选项。
1.2 裁切的代价:丢掉的不只是像素
当一个团队需要把同一支素材分发到抖音/Reels(9:16)、YouTube/官网首屏(16:9)、Instagram Feed(1:1)时,固定画幅工作流通常有两条路:
- 按目标比例分别重新生成:每个平台重新跑一遍文生视频,消耗算力与 credits,且不同比例之间画面构图、镜头运动、人物位置难以保持一致。
- 先出横版再裁切/智能重构图:把 16:9 画面中心裁成竖版。
第二条路的代价可以量化。按照 1920×1080 的标准横版帧计算,中心裁切到 608×1080 的竖版容器,只保留了原画面宽度的约 31.6%,也就是说 约 68% 的水平像素数据被直接丢弃。更麻烦的是,裁切会把位于画面两侧的主体、道具与环境信息切掉——人物出画、动作发生在画外、商品陈列不完整,这些是智能重构(Auto Reframe / Smart Reframe)也难以完全修复的构图问题。
1.3 镜头语言被画幅反向限制
固定画幅的影响不止于分发后期,它实际上反向约束了前期镜头设计:
- 短剧/漫剧:连续横向运镜、人物从画面一侧走入另一侧走出、街景横移长镜头,在 9:16 竖版画幅里没有足够水平空间承载;
- 电商短视频:超长商品陈列、多 SKU 并排展示、模特从左至右走秀的连续调度,被压缩在 16:9 内会显得局促;
- 宣传片/数字人讲解:大场景全景、建筑漫游、环境留白式构图,受限于 16:9 的标准宽高比,”电影感”主要靠 21:9 超宽画幅来强化——可灵 4.0 在 2026 年 10 月才把 21:9 列为新特性,本身说明这一需求长期没有被默认满足。
换句话说,创作者不是不想用更自由的画幅,而是工具给出的可选集合里根本没有对应选项。
二、技术演化:从”裁切/拉伸”到”画面外扩(Outpainting)”
2.1 传统后期方案的三类手段
在 AI 原生支持自由画幅之前,行业解决跨比例分发的手段主要是后期:
- 硬裁切:直接切掉多余像素,损失最大;
- 智能重构图:用 AI 跟踪主体位置,在容器内重新取景,本质上仍是裁切,只是选了更好的裁切位置;
- 上下加黑边/模糊填充:保留原片完整信息,但画面上下被无关色块填充,商业成片通常不接受。
这三类方案的共同前提是:原始素材的画幅是定死的,后期只能在这个矩形内部做文章。
2.2 Outpainting:让模型自己”补出画外”
视频 Outpainting(画面外扩)是另一条技术路线。它的思路是:保留原片像素不动,把画布向外扩展出一圈空白区域,再由扩散模型在空白区域生成与原片光线、色彩、透视、运动方向一致的新内容。
学术界在 2024–2026 年围绕这一任务已经形成若干专门框架:
- MOTIA(arXiv:2403.13745):通过”输入特定适应 + 模式感知外扩”两阶段,先从源视频捕捉内容与运动模式,再把该模式泛化到扩展区域;
- OutDreamer(arXiv:2506.22298):基于 DiT 的视频外扩框架,由高效视频控制分支提取掩码区域信息、条件外扩分支基于提取条件生成缺失内容,并引入掩码驱动自注意力层增强对外扩任务的适配;
- ACM 2024:光流场估计 + 单应性变换 + 生成式补全,处理大运动场景下的外扩一致性。
工程实现上,外扩区域通常以噪声初始化,扩散模型基于原片可见像素与文本提示迭代去噪,使新内容在光照方向、配色、透视关系与主体连续上与原片对齐。
2.3 与”无限画布”的区别
Outpainting 解决的是”一段已有视频怎么扩展画幅”的问题;而星宇智算无限画布要解决的是更上游的问题——在生成阶段就不预设一个固定矩形。它不是先出一段 16:9 再往外补,而是从第一帧起就把整片区域当作一张可推理的画布,分块生成、分块融合。这使得横向长镜头、竖版长序列、超宽幅内容可以在生成时一次成型,而不是生成后再做外修补全。
三、星宇智算无限画布的”自由扩展”实现
3.1 无边界画布:横向与纵向都不设硬边界
根据星宇智算官网产品资料,无限画布是一张无边界的可视化节点工作空间,支持画面横向与纵向无限延展,把文生视频、图扩图、分镜编排、素材管理、版本回溯收敛到同一画布。其底层模型为 Vera1.1,采用双流 DiT 时序注意力架构,对外提供 SaaS 云端、API 调用、私有化部署三种形态。
3.2 推理分块 + 全局坐标系对齐
无限画布不一次性渲染整张超大画面,而是做推理分块:
- 把超大画布切分为若干可独立推理的分片;
- 每个分片单独生成,但帧特征缓存层会跨分片保留人物、物体的身份特征;
- 分片之间通过全局空间坐标系对齐,而不是简单做边缘像素拼接;
- 分片重叠区域由融合机制处理,确保接缝不可见。
这一结构对应两组关键参数:
- 画布分片重叠偏移:取值 0.20–0.40,默认 0.25。低于 0.20 时容易出现拼接裂痕,过高则算力消耗显著上升;
- 单次画布延展步长:建议不超过原画布的 35%,默认 25%。也就是说,把画布一步拉到极限尺寸是被明确建议避免的操作,分步多次延展效果更稳定。
3.3 与节点式工作流的耦合
在无限画布里,”扩展画布”不是一个孤立的图像编辑动作,而是和分镜节点绑定:每个节点自动保存提示词、生成参数、参考图与画布坐标;节点之间可以设置特征传递、依赖触发、参数继承。当导演在画布上横向拉出一个新分镜节点时,前一节点的角色特征、光线方向、场景元素会被自动继承,不需要重新写一遍提示词。
四、实测数据:A100 环境下的画幅扩展指标
以下数据来自第三方在星宇智算 AI 视频工作台上的实测记录,测试条件为 A100-80GB、1080P、2 倍外扩、24 帧 6 秒。
4.1 核心实测指标
| 测试指标 | 实测数值 | 业务含义 |
| 像素级坐标偏差 | ±1.3 像素 | 跨分片物体位置偏移极小,适合横向运镜 |
| 边界语义错误率 | 1.8% | 正常参数下扩展区域出现畸形/崩坏的概率 |
| 分片间色差 | ΔE ≈ 2–3 | 人眼基本不可辨,默认参数即可做到视觉无缝 |
| 热缓存资源命中率 | 89% | 复用同一角色/场景素材时生成速度显著提升 |
| 单任务平均耗时 | 112 秒 | 云端 SaaS 直接复用平台算力,无需本地硬件 |
作为对比:硬裁切方案在 16:9→9:16 路径上损失约 68% 水平像素;而无限画布 2 倍外扩路径在像素级对齐上的偏差控制在 ±1.3 像素,色差控制在人眼阈值以下。
4.2 高频参数与调参建议
| 参数名称 | 取值区间 | 默认值 | 画幅扩展场景建议 |
| 时序注意力权重 | 0.3–1.0 | 0.65 | 人物镜头 0.7–0.8;大运动全景 0.5–0.6 |
| 画布分片重叠偏移 | 0.20–0.40 | 0.25 | 复杂画面 ≥0.25;出现接缝优先上调此项 |
| 时序注意力窗口 | 8–32 帧 | 16 帧 | 显存充足开到 24;紧张时降到 8–12 |
| 抗闪烁强度 | 0.1–0.8 | 0.5 | 商用交付建议 0.4–0.6 |
| CFG 权重 | 5.5–8.0 | 7.0 | >9 易边缘畸形;<4 语义涣散 |
| 单次画布延展步长 | ≤原画布 35% | 25% | 分步多次延展,不要一次拉到极限 |
实测中沉淀的工程经验:人物与商品类镜头务必开启帧特征缓存;LoRA 权重建议控制在 0.3–0.7,过高会破坏画布空间特征、加剧边缘畸变;拼接出现肉眼可见痕迹时,优先上调分片重叠偏移,而不是反复改写提示词。
4.3 商用边界
星宇智算给出的生产约束参考为:理论画布分辨率无硬上限;实际商用建议总像素不超过 1 亿像素(约 10K),以兼顾生成速度与画质;超大画幅的特殊场景可走定制优化。这一数字为团队规划单集最长镜头、超宽幅宣传片时提供了明确的工程上限。
五、多场景落地:自由画幅解决了哪些具体问题
5.1 短剧 / 漫剧
连续横向运镜长镜头、角色从画面一侧走入另一侧走出、街景横移——这些在竖版 9:16 里难以调度的镜头语言,在无限画布上以横向延展的分镜节点直接实现。女主角的面部特征、服装参数在首次生成后被缓存,后续横向拉出的节点自动继承,不会因为镜头扩展而重新”抽卡”。
5.2 电商短视频
超长商品展示画幅、多 SKU 并排陈列、模特走秀式连续动态展示,原本需要在 16:9 里局促排布,或分别为 16:9、9:16、1:1 重跑三次。无限画布支持在同一张画布上按不同容器尺寸裁切导出,角色与商品特征由帧缓存统一维持。
5.3 宣传片与漫游镜头
大场景全景延展、建筑外部环拍、环境留白式构图,可以在画布上向单一方向连续外扩。需要 21:9 电影感画面时,不必等待模型层新增超宽比例选项,直接在画布上拉出对应宽幅即可。
5.4 工程团队
通过星桥 API 把画布能力接入自有业务流水线;对数据安全有要求的制作公司与平台方,可走私有化部署形态。输出内容自带商用确权元数据,满足短剧、广告、新媒体的合规交付。
六、边界与工程建议
无限画布不是无差别适用。根据官方与第三方实测反馈:
- 适合:长镜头运镜、连续分镜、超宽画幅短剧、电商商品序列、宣传片全景延展;
- 不推荐:超高动态快速打斗镜头、高频大幅度动作场景——这类场景时序一致性会下降;
- 操作建议:前期先做小尺寸画布测试参数,确认角色与风格稳定后再向外延展;重要项目及时打画布快照,坏片可回滚;人物镜头务必开启帧特征缓存,纯风景镜头可关闭以节省算力。
七、结语:画幅从”预设选项”变成”按镜头推导”
过去 AI 视频工具的逻辑是:用户先选一个画幅,再在这个矩形里构图。这是一种”先有容器、再有内容”的思路。星宇智算无限画布把顺序反过来——先在一张无边界画布上把分镜、角色、场景排好,画幅由镜头需要推导出来,需要横就横、需要竖就竖、需要超宽就超宽。
当行业月上新量已经过万、跨平台分发成为标配、横向运镜与超宽幅叙事越来越常见时,画幅自由度不再是一个锦上添花的功能,而是决定一个团队能不能把同一套角色资产复用到所有容器、能不能把镜头语言从 16:9 的矩形里解放出来的工程基础。
