实测人物跨10个分镜无漂移 星宇智算无限画布角色锁定能力升级

实测人物跨10个分镜无漂移 星宇智算无限画布角色锁定能力升级

摘要: 星宇智算近日完成无限画布引擎角色锁定模块的版本升级,正式对外发布 “跨分镜角色一致性” 能力。该模块通过面部特征锚定、服饰拓扑锁定、体型骨骼对齐三层机制,使同一人物在多场景、多机位、多光照分镜中保持身份稳定。官方实测数据显示,在连续 10 个分镜、总时长 45 秒的短剧片段中,角色面部身份余弦相似度由基线的 0.81 提升至 0.94,身份漂移发生率降至 2.7%,服饰一致性评分提升至 91 分。这一升级主要面向 AI 短剧、虚拟人广告、系列化短视频等需要固定主角形象的生产场景。


一、发布背景:跨分镜 “换脸” 是 AI 短剧的头号痛点

2025 年以来,AI 短剧、虚拟人口播、系列化品牌短片快速起量,生产端反复遇到同一个问题:同一个主角,在第一个分镜是一张脸,切到第二个分镜就变成另一个人;换个角度、换个光照、换套衣服,连发型都对不上。这一问题在行业内被称为 “角色漂移” 或 “跨分镜一致性丢失”。

传统解决方案依赖人工修脸、换脸模型后处理、或者为每个分镜单独挑选参考图,人力成本高且效果不稳定。星宇智算此次升级角色锁定能力,目标是把 “同一角色跨分镜不换脸” 从一道人工工序,变成引擎内建的默认能力。

二、什么是星宇智算角色锁定

角色锁定是星宇智算无限画布引擎中负责 “人物身份一致性” 的子模块。它在生成每个分镜前,先从角色档案中读取该角色的特征锚点,再驱动扩散模型在该分镜中生成符合锚点的人物,而不是让模型根据提示词自由发挥。

与上一版本相比,本次升级的核心变化在于:

  • 从 “单图参考” 升级为 “多锚点档案”—— 一个角色可注册正面、侧面、半身、全身多张参考图,系统自动融合成一份角色特征档案;
  • 从 “仅面部锁定” 升级为 “面部 + 服饰 + 体型” 三维锁定;
  • 从 “同场景内稳定” 升级为 “跨分镜、跨场景、跨机位稳定”。

三、问题拆解:跨分镜角色为什么会 “变脸”

在讲升级机制之前,需要先明确角色漂移的三类典型成因,这也是本次升级针对性解决的对象:

  1. 特征锚点弱:旧版仅用单张正面照作为参考,一旦分镜切换到侧面、逆光或远景,面部特征向量被重新生成,身份自然偏移;
  2. 服饰拓扑漂移:衣服款式、颜色、纽扣位置在不同分镜中被模型重绘,导致同一角色像换了多套衣服;
  3. 体型比例失控:远景镜头中身高比例、肩宽、肢体长度被模型压缩或拉伸,近景切回时比例不一致。

星宇智算的内部测试表明,这三类漂移在一个 8–10 个分镜的短序列中叠加出现的概率超过 60%。

四、角色锁定的三层机制

本次升级后的模块由三层依次作用的约束构成:

4.1 面部特征锚定层

基于角色档案中的多张参考图,提取面部特征向量并做归一化融合,生成一份 “角色身份锚”。在每个分镜生成时,该锚作为条件输入进入扩散模型,引导模型生成与锚点匹配的面部。与单图参考相比,多图融合后的锚点对侧脸、仰视、逆光等极端机位的鲁棒性显著提升。

4.2 服饰拓扑锁定层

不锁定服饰的像素颜色,而是锁定服饰的 “拓扑结构”—— 衣领形状、袖长、纽扣位置、下摆轮廓等结构特征。允许颜色在不同光照下自然变化,但款式与结构在跨分镜中保持一致。这一设计避免了 “强行贴同一件衣服的纹理” 导致的僵硬感。

4.3 体型骨骼对齐层

从角色档案中提取体型骨骼参数(身高比例、肩宽、四肢长度比),在不同机位分镜中通过骨骼约束反向投影,使角色在远景、全景、近景中保持相同的身体比例,避免 “近景苗条、远景矮胖” 的失真。

五、实测数据:跨 10 个分镜一致性测试

星宇智算官方基于一段 10 个分镜、总时长 45 秒的短剧片段进行了对照测试。该片段包含的机位与场景变化为:

分镜 1:正面中景,室内暖光;分镜 2:侧面近景,窗边自然光;分镜 3:全景,办公室冷光;分镜 4:背面跟拍;分镜 5:低角度仰视;分镜 6:俯视半身;分镜 7:换装(同角色不同服装);分镜 8:夜景街道;分镜 9:快速转身;分镜 10:特写收尾。

5.1 评估指标

  • 面部身份余弦相似度:每个分镜的人脸嵌入与角色基准嵌入的余弦相似度,越接近 1 越像同一个人;
  • 服饰一致性评分:0–100 分,由人工评审服饰款式、结构是否连贯;
  • 体型比例偏差:各分镜中角色身高肩宽比与基准值的偏差百分比;
  • 身份漂移发生率:人工判定 “这一镜不像同一个人” 的分镜占比。

5.2 实测结果

分镜序号面部余弦相似度服饰一致性评分体型比例偏差
1(基准)0.99950%
20.95931.8%
30.93912.4%
40.92903.1%
50.94922.0%
60.93912.7%
7(换装)0.9488*2.2%
8(夜景)0.91893.5%
9(快速转身)0.92902.9%
10(特写)0.95921.5%

* 分镜 7 为换装场景,服饰一致性评分下降属于预期表现,重点在于面部身份仍保持 0.94 的相似度。

核心结论:10 个分镜的平均面部余弦相似度为 0.94,最低值出现在夜景分镜为 0.91;人工评审判定的身份漂移发生率为 2.7%(10 个分镜中仅有约 0.3 个分镜被认为存在轻微不像),服饰一致性平均分 91 分,体型比例平均偏差 2.2%。

5.3 与升级前版本及行业基线对照

方案10 分镜平均面部相似度身份漂移发生率服饰一致性
公开基线模型 A0.7928.0%68
公开基线模型 B0.8222.0%72
星宇智算升级前(单图参考)0.8614.0%80
星宇智算升级后(多锚点档案)0.942.7%91

数据显示,升级后角色锁定能力较上一版本在面部相似度上提升 9.3%,身份漂移发生率下降 80.7%;与两个公开基线模型相比,身份漂移率下降约 88%–90%。

六、角色数量与多角色同框测试

除单角色测试外,星宇智算同时验证了多角色同框场景。在一段 6 个分镜、2 名角色对话的片段中,两名角色的平均面部相似度分别为 0.93 和 0.92,未出现角色特征互相串扰(即 A 的脸跑到 B 身上)的情况。这意味着角色锁定模块支持在同一画面中维护多份独立身份锚。

官方同时给出当前版本的能力边界:单镜头内最多稳定锁定 4 名角色,超过该数量后系统会按画面占比自动分配锁定权重,远景次要角色可能出现轻微漂移,建议通过后期补修处理。

七、推荐使用流程

基于测试结果,星宇智算在官方文档中给出角色档案的标准建立流程:

  1. 建立角色档案:为每个主角上传 3–5 张参考图,建议覆盖正面、侧面、半身、全身各一张;
  2. 指定服饰方案:在角色档案中登记每一套出场服装,系统自动生成服饰拓扑锚;
  3. 分镜生成时绑定角色 ID:在分镜脚本中通过 character_id 字段指定该分镜出场的角色,系统自动加载对应锚点;
  4. 批量出片后抽检:建议按每 10 个分镜抽检一次面部相似度,低于 0.90 的分镜单独重抽。

八、企业落地场景

本次升级主要面向三类生产场景:

  • AI 短剧与连续剧:需要主角形象贯穿数十甚至上百分镜,角色锁定可显著降低后期修脸成本;
  • 品牌虚拟人广告:品牌 IP 形象需要在多条不同场景短片中保持一致,避免消费者认知割裂;
  • 系列化口播与知识短视频:固定主播形象批量产出内容时,避免不同批次视频中主播长相不一致。

星宇智算表示,该模块已在无限画布控制台默认开放,新用户可在 “角色管理” 页免费建立最多 5 个角色档案,商业客户支持团队级角色库与项目级隔离。

九、后续计划

星宇智算透露,角色锁定能力后续将沿三个方向迭代:

  • 支持角色表情库与动作库,使同一角色在分镜中拥有更自然的情绪变化;
  • 支持角色随剧情演化(例如发型变化、年龄推进)的渐变过渡;
  • 与运动幅度智能约束模块联合调度,实现 “角色一致 + 镜头稳定” 的长片段一体化生成。

完整技术报告、角色档案配置文档与对照测试脚本已在星宇智算官方文档中心开放,开发者可复现本文中的 10 分镜一致性实验。