ComfyUI-VLM-DreamOmni2

DreamOmni2中VLM在ComfyUI中的复现，支持int4,int8量化；配合loras可完成原项目的复现

本项目所使用的 VLM 模型及 LoRA 权重均来自开源项目 DreamOmni2（由 DVLab 研究团队发布）。
我们对原作者的卓越工作表示由衷感谢！本节点能够在 ComfyUI 中进行模块化复现，以及未来拓展，并非官方实现，请遵守原项目的使用条款。

📦 安装指南

1. 克隆本仓库到 ComfyUI

cd ComfyUI/custom_nodes
git clone https://github.com/your-username/ComfyUI-VLM-Quantized-Prompt.git
pip install -r ComfyUI-VLM-DreamOmni2/requirements.txt  [可选]

2、下载 VLM 模型

将 DreamOmni2 的 VLM_models（注意原文件夹名称"-"要改为"_"） 下载至 ComfyUI/models/ https://huggingface.co/xiabs/DreamOmni2

3、下载 LoRA 权重（用于完整 DreamOmni2 流程）

用途	下载链接	保存路径与文件名
编辑任务 LoRA	pytorch_lora_weights.safetensors (edit)	ComfyUI/models/loras/DreamOmni2_edit.safetensors
生成任务 LoRA	pytorch_lora_weights.safetensors (gen)	ComfyUI/models/loras/DreamOmni2_gen.safetensors

4、工作流在example_workflow中

如果你已经安装了nunchaku，还可以使用nunchaku进行模型部分的加速 gen模式 edit模式