Hotshot-XL运动模型深度解析
Hotshot-XL是一款基于人工智能的文本转动画模型，它能与Stable Diffusion XL（SDXL）协同工作。相较于SDXL 1.5版本，Hotshot-XL在连贯性方面有着显著的提升。
Hotshot-XL能够利用任何已经微调的SDXL模型来生成动画。这一特性意味着：
1. 用户能够利用现有的SDXL模型或者新的调整版本来生成动画。
2. 如果你想为个性化主题制作动画，只需加载基于SDXL的LORA模型，无需对Hotshot-XL进行微调。
项目详细地址：/hotshotco/Hotshot-XL?tab=readme-ov-file
模型下载地址：huggingface.co/hotshotco/Hotshot-XL/tree/main
工作流程地址：openart.ai/workflows/cychenyue/hotshotxl-motion-model-video-transfer-v1/VbUW0H73SKEVHvSw0WGW
相关链接：提取码为cycy，百度网盘链接为pan./s/1plevJaH6Y7V-GUKrr7sQZw?pwd=cycy
Hotshot-XL兼容SDXL ControlNet，能够按照你想要的构图或布局来制作动画。关于ControlNet的更多信息，请参见以下介绍。
Hotshot-XL被训练以每秒8帧（FPS）的速度生成动画。（推荐在生成动画时，也采用相同的帧率）
该模型在各种纵横比上都经过了训练。为了获得最佳效果，我们建议将基础Hotshot-XL模型与经过512×512图像微调的SDXL模型结合使用。对于文本生成视频，由于上下文长度较短，运动可能比AnimateDiff更加随机。Hotshot特别适合有图像引导的生成，比如重绘。值得注意的是，Hotshot似乎倾向于生成逼真的图像——许多动漫模型最终都会变得非常逼真。
区别于其他模型如AnimateDiff，Hotshot-XL拥有完全不同的结构，但可以配合AnimateDiff的Comfyui节点使用。两者之间的最大差异部分源于结构不同——AnimateDiff有16帧，而Hotshot只有8帧。对于Vid2Vid任务，使用Hotshot的质量表现不俗。
在context_overlap（上下文重叠）方面，Hotshot似乎更具“可控性”。可以尝试减少重叠，但在0时可能会注意到每次运行间的跳跃，3-4时的表现则相对不错。
对于Txt2Vid任务，Context_Stride（上下文步长）的调整可能会导致某种类型的伪影。如果想要提高生成结果的一致性，可以尝试增加这个数值。如果不确定具体数值，可以初始设置为3。
在采样器方面，如果生成的图像模糊不清，可以尝试增加CFG值。经过测试，当采样器与调度器选择Euler_ancestral和ddim_uniform时，效果较为理想。
