谷歌DeepMind与布朗大学合作开发的力提示“力提示”(force prompting)技能,为视频生成范畴带来打破。推出该技能无需3D模型或物理引擎,频生仅经过指定力的成更传神方向和强度 ,即可生成天然流通的力提示运动作用。支撑大局力(如风)和部分力(如敲击)两种方式 ,推出力以矢量场方式输入体系 。频生
研讨根据CogVideoX-5B-I2V模型 ,成更传神参加ControlNet模块处理数据,力提示使用Transformer架构生成49帧视频,推出仅需4台Nvidia A100 GPU练习一天。频生练习数据彻底组成,成更传神包含旗号飘动、力提示球体翻滚等场景 。推出模型在文本提示中参加物理术语后