GitHub的Lvmin Zhang与斯坦福大学的Maneesh Agrawala联手推出了一项性的新技术——FramePack。它通过采用固定长度的时域上下文在视频扩散模型中工作，能够更高效地生成时间更长、质量更高的视频。
经过实际测试，基于FramePack技术的130亿参数模型，仅需一块6GB显存的显卡，就能生成长达60秒的视频内容。
FramePack是一种网络架构，它采用多级优化策略，可在本地完成AI视频生成。目前，该技术的底层基于腾讯定制的混元模型，但任何现有的预训练模型都可以通过FramePack进行微调与适配。
在传统的视频扩散模型中，生成视频时首先需要处理带有噪声的已生成帧，然后预测下一个噪声较少的帧。时域上下文的长度会随着视频的体积增加而增长，每生成一帧所需的帧数量就是这一上下文长度，这对显存的需求极高，通常至少需要12GB。显存不足会导致生成的视频时间短、质量差以及生成时间长。
FramePack技术的优势在于，它可以根据输入帧的重要性对所有输入帧进行压缩，调整为固定的上下文长度，从而显著降低对显存的需求。其计算消耗与图片扩散模型相似。
每生成一帧画面都会实时显示，方便用户即时预览。FramePack还能有效缓解“漂移”现象，即在视频长度增加时保持高质量生成，从而在不牺牲质量的前提下生成更长的视频内容。
FramePack数据格式支持FP16和BF16，显卡硬件方面支持RTX 50、RTX 40以及RTX 30系列显卡。除了RTX 3050 4GB外，几乎所有的近代显卡都能与之兼容。操作系统方面则支持Windows和Linux。
至于性能表现，经过teacache优化的RTX 4090每秒可以大约生成0.6帧。这项新技术将无疑为视频生成领域带来性的变革。
