本地电商图生视频流水线部署方案：vLLM + ClipForge

一、目标与硬件

• 目标：商品图 → 本地生成文案 → 本地出图 → 本地图生视频 → ClipForge 合成导出。

• 硬件：RTX 4090 24GB + 64GB 内存。

• 架构：ClipForge 负责编排；vLLM-Omni 作为统一推理后端，暴露 OpenAI 兼容 API；各模型按需启停。

二、模型选择（最终结论）

三、部署步骤

1. 安装 vLLM + vLLM-Omni

bash

pip install vllm vllm-omni

要求：NVIDIA 驱动 535+，CUDA 12.1+，Python 3.12。

2. 启动 LLM 服务（文案）

bash

vllm serve Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --served-model-name qwen \
  --gpu-memory-utilization 0.92 \
  --max-num-seqs 64

3. 启动图像服务（需要时）

bash

vllm serve black-forest-labs/FLUX.2-klein-9b-fp8 \
  --host 0.0.0.0 \
  --port 8001 \
  --served-model-name flux \
  --gpu-memory-utilization 0.85

需要复杂文字排版时，换 ERNIE-Image 8B，端口 8002。

4. 启动视频服务（需要时）

bash

vllm serve MiniMaxAI/MiniMax-H3-Ref2VA \
  --host 0.0.0.0 \
  --port 8003 \
  --served-model-name minimax-h3 \
  --gpu-memory-utilization 0.90

关键参数：1280×704、124 帧、25 步、CFG 4.0，预留 2GB 显存。

批量处理可换 Wan2.2 TI2V-5B INT4。

5. 安装并启动 ClipForge

bash

docker run -d \
  -p 3000:3000 \
  -v clipforge-data:/data \
  -e CLIPFORGE_LLM_BASE_URL="http://host.docker.internal:8000/v1" \
  -e CLIPFORGE_LLM_API_KEY="empty" \
  -e CLIPFORGE_LLM_MODEL="qwen" \
  ghcr.io/xixihhhh/clipforge

访问 http://localhost:3000。

6. 使用流程

上传商品图 → ClipForge 调用本地 vLLM 生成文案 → 按需启动图像/视频服务 → 生成素材 → ClipForge 合成导出。

四、显存调度（关键）

4090 24GB 无法同时满载所有模型，必须按需启停：

每个阶段结束后停掉上一服务，再启动下一服务。视频生成时预留 2GB 余量，避免卡死。

五、注意事项

• ClipForge 的 CLIPFORGE_LLM_BASE_URL 必须以 /v1 结尾。

• CLIPFORGE_LLM_API_KEY 填任意非空字符串即可。

• Docker 内访问宿主机用 host.docker.internal，不要用 localhost。

• MiniMax H3 本地生成 4–15 秒、24fps、短边 768；2K 需云端。

• 商用许可：vLLM 为 Apache 2.0；各模型需逐个确认（Qwen、Flux、Wan 多为宽松，ERNIE/MiniMax 查官方说明）。

六、一句话总结

ClipForge 做编排，vLLM-Omni 做统一本地推理，4090 分时跑 Qwen / Flux / MiniMax H3，配置三个环境变量即可落地。