用笔记本轻松玩转 AI 生成长视频

最近，在 github 看到了一个名为 FramePack 的图生视频项目，基于预测神经网络结构，可以在资源有限的设备上生成高质量的视频。它通过将上下文压缩成固定长度，使得生成任务的工作量与视频长度无关，从而实现高效且资源友好的视频生成。

什么是 FramePack？

FramePack 是由开源作者 lllyasviel 开发的一种基于“下一帧预测”（Next-Frame Prediction）的神经网络结构。它通过逐步生成下一帧内容，实现高质量视频的连续输出。与传统的视频扩散模型不同，FramePack 并不受视频长度限制，能够在资源有限的设备上处理成千上万帧的视频生成任务。

核心创新点：

1. 上下文压缩机制（Frame Context Pack）

• FramePack 将输入的历史帧信息压缩为固定长度的表示，使得每一帧的生成开销保持恒定，不再随视频长度增加而线性增长。
• 这一设计让即使使用 130 亿参数的大模型，也能在笔记本 GPU 上轻松运行。

• FramePack 支持类似图像扩散模型的批量训练方式，显著提升了训练效率。
• 在 batch size 方面，FramePack 与图像生成模型非常接近，大大降低了训练门槛。

• 模型采用逐帧或逐段生成的方式，用户可以在生成过程中实时查看当前结果，获得视觉反馈。
• 即使是生成一分钟以上的长视频，也可以边生成边预览，无需等待全部完成。

FramePack 的硬件要求与性能表现

为了让更多人能够体验这一前沿技术，FramePack 对硬件的要求相对亲民：

• GPU 型号：支持 FP16/BF16 的 NVIDIA 显卡，如 RTX 30XX / 40XX / 50XX 系列（GTX 10XX/20XX 未测试）
• 操作系统：Linux 或 Windows
• 显存要求：最低 6GB（即可生成 60 秒、30fps 的视频）

如果你发现生成速度远慢于以上数据，建议检查是否启用了正确的注意力优化模块（如 Flash Attention、SageAttention）。

如何部署 FramePack？

FramePack 提供了 Windows 和 Linux 两个平台的支持，安装步骤如下：

Windows 用户：

1. 下载一键包（包含 CUDA 12.6 + PyTorch 2.6）
2. 解压后运行 update.bat 更新到最新版本
3. 执行 run.bat 启动程序

⚠️ 注意：务必运行 update.bat，否则可能使用旧版存在 bug 的代码

Linux 用户：

1. 推荐使用独立 Python 3.10 环境
2. 安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

1. 启动 GUI：

python demo_gradio.py

Gradio 界面支持多种参数配置，包括 --share（生成公网访问链接）、--port（指定端口）等，方便本地调试或远程部署。

使用说明与界面介绍

FramePack 提供了一个简洁直观的图形界面（GUI），帮助用户快速上手：

• 左侧区域：上传初始图像并输入文本提示（Prompt）
• 右侧区域：展示生成的视频片段及潜在空间预览（Latent Preview）

由于 FramePack 是逐帧或逐段生成的模型，视频会随着每一步推理越来越长。你可以看到进度条实时显示当前生成进度，并通过预览窗口观察即将生成的内容。

🎯 小贴士：刚启动时可能会有些许延迟，这是由于 GPU 需要一定的“热身”时间，稍等片刻即可恢复正常速度。

图生视频展示

                                

复制此 prompt：

The girl dances gracefully, with clear movements, full of charm.

复制此 prompt：

The girl suddenly took out a sign that said “cute” using right hand

复制此 prompt：

The girl skateboarding, repeating the endless spinning and dancing and jumping on a skateboard, with clear movements, full of charm.

结语

当一台万元级工作站就能运行 13B 参数视频大模型，内容生产的民主化进程又向前迈进了一大步。可以让大家在普通家用笔记本上就可以部署图生视频模型，无论对于独立创作者还是企业用户，FramePack 都提供了前所未有的生产力工具。

FramePack 项目地址：https://github.com/lllyasviel/FramePack?tab=readme-ov-file

想要获取 FramePack windows 系统下安装包得同学可以直接在我的公众号发送 1005，即可获取 windows 系统下得安装包。