星宇智算 Layer‑Diffusion 技术落地 解决影视级视频光影分层问题

星宇智算 Layer‑Diffusion 技术落地 解决影视级视频光影分层问题

随着 AIGC 视频走向工业化生产,影视级质感已经成为行业核心诉求。但长期以来,AI 生成视频普遍存在光影耦合严重、物体与环境光互相串色、人物主体和背景光影割裂、长时序画面光影漂移等痛点。即便画面构图、角色形态达标,光影逻辑错乱依旧会直接拉低成片质感,阻碍 AI 视频向短剧、漫剧、文旅宣传片、商业广告等高要求场景规模化落地。

针对行业共性技术瓶颈,星宇智算正式完成Layer‑Diffusion 分层扩散技术工程化落地,该技术已经集成至自研 AI 视频生成基座 Vera1.1,从底层实现主体、环境、光影、材质多层解耦,为商业级 AI 视频生产补齐光影渲染关键一环。

传统 AI 视频的光影困境:画面元素高度耦合

过往多数视频生成模型,将人物、物体、环境、光照信息打包在同一套特征空间做扩散运算。 这种模式带来几个现实生产痛点: 第一,主体受背景环境光过度干扰,出现人物面部被环境色染色、材质反光失真; 第二,前景与背景光影逻辑不同步,出现白天环境下人物投射黑夜光影等逻辑 bug; 第三,长时序视频生成过程中,光照参数随帧发生无规则漂移,前后镜头光影调性割裂; 第四,后期二次修调成本高,想要单独调整环境光、主体打光,需要重新整段重绘视频,生产效率低下。

大量短剧工作室、MCN 机构在实际作业中反馈,很多 AI 视频成片构图合格,但光影逻辑违和,需要投入大量人力做逐帧调色修复,拉高整体制作成本。

Layer‑Diffusion 底层逻辑:实现光影、主体、环境分层解耦

Layer‑Diffusion 核心思路是引入分层特征渲染架构,把画面拆解为主体层、环境层、光照层、材质反射层多个独立语义通道,分别完成扩散运算之后再做融合对齐,而非全部信息混杂在一起生成。

在 Vera1.1 基座之上,这套分层机制配合滑动窗口时序注意力、光流约束模块共同工作:

  1. 独立光照通道负责统一管理全局光源方向、色温、阴影强度,保障跨帧光照一致性;
  2. 主体层隔离环境色彩溢出干扰,人物、道具材质信息独立保留,面部与服饰不会被背景色污染;
  3. 层与层之间设置对齐约束,保证前景、背景、阴影投射关系符合现实物理逻辑;
  4. 长时序生成场景下,锁定光照特征缓存,抑制多帧之间光影随机漂移问题。

简单来说,就是模型不再 “一锅烩” 生成画面,而是像影视后期分层渲染一样,分开处理人物、场景、灯光,再做画面合成。

Vera1.1 集成落地,面向商业场景带来实际生产收益

Layer‑Diffusion 现已原生集成于星宇智算 Vera1.1 视频模型,面向 SaaS 工作台与星桥 API 开放能力,同时支持企业私有化部署场景调用,覆盖短剧生产、国风漫剧、跨境电商物料、文旅宣传片等主流商业业务。

在实际业务效果层面,主要体现在三个维度: 第一,影视级光影可控度提升。可区分主光、环境漫反射、环境色溢出现象,雨夜霓虹、室内柔光、户外日光等复杂光影场景,物体阴影、材质反光更加贴合真实物理逻辑。 第二,长视频时序稳定性增强。多镜头连续生成时,人物肤色、环境色温、阴影方向不会出现跳变,降低后期调色返工比例。 第三,创作可控性增强。创作者可以定向调整环境光照而不破坏主体,也可以修改主体材质而不扰动背景,减少整段视频重复生成次数,节约星元算力消耗。

来自内部业务测试数据显示,在高光影复杂度的赛博朋克夜景、国风夜景等场景,Vera1.1 搭载 Layer‑Diffusion 之后,光影逻辑错误率得到显著下降,FVD 时序指标同步获得优化,更适配工业化批量出片需求。

行业价值:推动 AI 视频向工业化渲染靠拢

从行业发展来看,AI 视频正在从 “能生成画面” 走向 “高质量可商用”。传统渲染管线依靠分层渲染、分层打光实现影视质感,而过去多数生成式模型缺少这套分层机制。

Layer‑Diffusion 的落地,代表生成式 AI 视频开始向传统影视渲染的工程思路对齐。星宇智算 Vera1.1 通过这一技术补齐光影短板,并非单一算法优化,而是面向商业生产全链路的能力补齐,降低团队对后期修图、逐帧调色的重度依赖,让中小工作室、企业客户可以直接产出具备影视光影质感的 AI 视频内容。

未来星宇智算还将持续迭代双流 DiT、时序注意力、3D 几何约束等底层模块,持续优化角色稳定性、运镜逻辑、原生音频生成等能力,服务短剧、数字人、文旅、电商等垂直赛道的规模化内容生产。