近日,抖音内容技术团队开源了 ContentV,一种面向视频生成任务的高效训练方案。该方案在多项技术优化的基础上,使用 256 块 NPU,在约 4 周内完成了一个 8B 参数模型的训练。尽管资源有限,ContentV 在多个评估维度上取得了与现有主流方案相近的生成效果。
该工作探索了在有限算力条件下训练视频生成模型的可行路径。目前,推理代码与模型权重已对外开放。
CogVideoX、HunyuanVideo 和 Wan2.1 等一系列优秀的开源工作表明,视频生成的关键并不在于架构上的特殊设计,而在于如何高效利用有限的数据资源,并有效对齐人类偏好。
为验证 ContentV 方案的通用性,本次开源的版本在扩散模型部分采用了经典的文生图模型 Stable Diffusion 3.5 Large。为了适配视频模态,模型在结构上仅做了以下两项必要调整:
将原始图像 VAE 替换为 Wan2.1 中使用的 3D-VAE;将 2D 位置编码升级为 3D 版本。在具体编码方式上,团队对比了传统的绝对位置编码与主流的旋转位置编码。评估结果显示,两者在客观指标和主观感受上差异较小,因此保留了计算更高效的绝对位置编码方案。
上述的最小化结构改动,在解锁了视频生成能力的同时,也最大限度地保留了原模型的图像生成能力。实验证明,在新的 VAE 和位置编码的适配阶段,沿用 Flow Matching 的训练方式,仅需 1000 步左右的微调,就能基本还原模型的图片生成能力,大幅节省图片预训练阶段的训练成本。
在视频生成的预训练阶段,为加速收敛实现高效训练,研究团队设计了一套从「低清短片」到「高清长片」的多阶段渐进式训练流程,逐步引导模型学习时间维度与空间维度上的动态表征,从而提升视频的连续性、动态表现力和画面细节。
此外,实验证明,在推理阶段引入非线性采样步长机制(Flow Shift)能够显著提升视频的整体生成质量。通过多组对比实验,团队最终确定了最优的采样策略,进一步优化了生成效果。
在后训练阶段,除了使用高质量数据集进行微调外,通过 RLHF 或 DPO 等对齐人类偏好的监督训练,也能显著提升视频生成质量。然而,这类方法通常依赖大量人工标注,用于训练奖励模型或直接监督扩散模型。同时,相较于图像,视频的序列长度显著增加了 RLHF 和 DPO 的训练资源需求。
为此,ContentV 研究团队提出了一种轻量级的 RLHF 训练方案,旨在不依赖人工标注的前提下,低成本提升视频质量:
利用开源的图像奖励模型对生成视频的单帧进行监督。相较于视频场景,目前图像奖励模型的训练数据更易获取,且在实际效果中表现更佳。实验证明,由于 MM DiT 采用全局注意力机制,仅优化单帧即可带动整体视频质量的提升;将监督范围限制在生成视频的前 1 秒,相较于对完整视频进行监督,可大幅减少训练资源的消耗,同时获得相近的质量提升效果。
采用上述策略后,在无需人工标注的情况下,仅使用少量训练资源,便可显著提升画面质量。RLHF 微调后,模型在视觉质量(VQ)指标上的表现大幅提升,评估胜率高达 89.38%。
在 VBench 这一主流视频生成评测基准上,ContentV(8B)取得了 85.14 的综合得分,表现优于多个现有的商业闭源模型,包括 Sora、Kling 1.6 和 Gen-3 等。
为更贴近真实用户偏好,研究团队围绕感知质量、指令跟随、物理一致性和视觉效果四个维度开展了人类偏好评估。结果显示,ContentV 在整体表现上与 CogVideoX-5B、HunyuanVideo-13B 和 Wan2.1-14B 等主流开源模型相比具有一定优势。
06月09日,李强同新西兰总理拉克森会谈,必威注册登录,金年会平台入口,新二手机会员网址,环球怎么注册
06月09日,南开大学携手推动卫生健康事业提质 天津大型三甲医院更名,盛世国际,伟德竞彩官网,澳门电子游艺推荐,亚娱赌场网站
06月09日李家超:股市波动但暂未见不寻常 香港仍充满竞争力代理AG平台线永利皇宫皇冠苹果版
06月09日第二届链博会将启 境外参展商美企居首18新利平台登录ag线注册登录网网址ag手机版下载
06月09日“年三十”连续5年“缺席” 对我的假期有影响吗?bob官方体育世界杯必威快速开户2020年欧洲杯比赛时间表CQ电子游戏……
06月09日,带全家人体验中医理疗!看中医药如何“圈粉”哈萨克斯坦民众,ysb88手机版,明升体育开户网址,环亚真人,果博怎么注册账号
06月09日湖北广东警方成功找回王浩文系列拐卖案4名被拐儿童ManBetx官网买球太阳城手机版注册澳门国际赌盘注册365APP 下载
06月09日,陕西华山“风起云涌”美不胜收,财神棋牌 官方网站,ag能赢吗,天博游戏官网app,必威在哪里玩
06月09日,马克龙接受总理巴尼耶辞呈 将在未来数日内任命新总理,ag平台开户,m6米乐注册App,泰好博,大赢家是哪个平台
06月09日,今年北京城市副中心将保持千亿投资强度,沙龙国际sa36,博乐棋牌怎么玩,开元棋牌APP下载,手机赌钱手游
06月09日去年北京新开业大型商业设施240万平方米 消费环境持续优化必维体育官网澳门有抢庄牛牛beplay体育官网app下载免费二八杠
06月09日被爆“幽灵外卖” 北京昌平区市场监管局对涉事门店立案调查银河官方网站九五至尊手机游戏网站十大线上赌城排名皇冠外围哪个好
06月09日云南特产跨越千里“摆摊”浙江大学 助力景东乡村振兴亿博体育官网入口美高梅网投买球吧万博手机端app
国漫高颜值女神评选,腾格尔演唱宝可梦主题曲港澳动漫产业人士冀加强与内地合作 将中华文化创意带向世界华纳官网网址贝博官方下载im电竞网站是多少鸿博体育网投平台
为爱所困2024,沙地塌陷埋压2孩童众人刨沙施救韩国一传统市场发生重大火灾 227家店铺被烧毁平博pinnacle大富豪平台网站多少分分彩平台网站彩神争霸登录网址
小小的老子哄老老的小子,女子10米跳台跳水决赛成都世运会“跟着赛事去旅行”系列活动启动欧宝苹果APP下载mg手机版网址福建赌经B天博官网客户端
澳门破获史上最大贩卖案,“一口价”黄金变现套路深“十五运·十五城”宣传活动首站将于12月18日走进北京7796cc乐盈平台真钱澳门电玩城bwin手机版注册澳门金沙平台娱乐场
大江大河,LV售后欧洲免费 国内收2400大力发展数智化银发经济二八杠怎么下柱能赢钱bbin登录博狗入口牛宝体育手机APP
GAM不敌FNC止步入围赛,第37届金鸡奖开幕张国清将访问伊朗反水高的网投平台环亚登录平台优德体育官网站登录永利线上娱乐场官方
@BETHASH6