ComfyUI_TensorRT 随机黑图问题:如何定位与完整修复

ComfyUI_TensorRT 随机黑图问题:如何定位与完整修复

【免费下载链接】ComfyUI_TensorRT项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI_TensorRT

在 ComfyUI_TensorRT 的 SD1.5 动态工作流中,生成偶尔产出全黑图像,终端伴随RuntimeWarning: invalid value encountered in cast警告。根因是 tensorrt_loader.py 中 TrTUnet 在独立 CUDA 流上执行推理,与 PyTorch 默认流失去同步;改回默认流并同步等待后问题消失。

症状速览:哪些信号说明是 TensorRT 引擎层问题 ⚠️

先记录可观察事实,不掺推测:

黑图是"结果",不是"原因":这张图在 latent 解码前的数值就已经坏了。排查方向因此是找到数值在哪一步变坏,而不是调采样参数。

排查过程:从模型、参数到引擎层的收敛路径

第一步:排除模型权重与参数配置

用同一 checkpoint 走 PyTorch 原生工作流(workflows/Create_SD1.5_PyTorch.json)反复生成,出图全部正常;再检查动态引擎的构建 profile(batch 1–4、512–1024),均在引擎声明范围内。模型侧、VAE、构建参数被逐一排除。

第二步:聚焦引擎推理层

终端里 TRT 引擎加载与构建日志一切正常:

关键线索是那条invalid value encountered in cast:它发生在把数值转成图像像素的环节,说明此时拿到的张量已含非法值(零值或旧数据)。顺着这个方向读 tensorrt_loader.py,问题代码在修复前长这样:

self.stream = torch.cuda.Stream() # __init__ 中创建私有流 ... self.context.execute_async_v3(stream_handle=self.stream.cuda_stream) self.stream.synchronize()

torch.cuda.Stream()创建了一条与 PyTorch 默认流互相独立的私有流。输入张量由默认流上的 kernel 写入,而引擎在这条私有流上读取,两者之间没有任何事件同步——存在"读到还没写完的数据"的竞态窗口。批处理越大,超出引擎 max batch 后拆分的执行次数越多,暴露窗口越大,这解释了黑图与批处理大小的关联;cfg=1 时每个采样步的 forward 次数减少,时序恰好避开窗口,所以"看起来好了",实际只是没触发。随机性也由此而来:窗口内先写后读就正常,先读后写就黑图。

根因与修复:把推理调度交还给 PyTorch 默认流 🐛

修复 commit 只做三处改动(共 3 行替换 3 行):

1. 删除__init__中创建的私有self.stream;
2. 推理时改用torch.cuda.default_stream(x.device)提交execute_async_v3;
3. 循环结束后对该流synchronize()。

类比:原来相当于两条独立传送带,搬运工(默认流)放下原料时没有任何信号通知加工机(私有流),加工机可能取到上一批的旧件;修复后所有工序共用一条带子,顺序天然有序。

一个值得说明的细节:由于默认流本身保证与 PyTorch 全部算子的顺序,后续提交把显式synchronize()注释掉以省去同步开销,不影响正确性。这也提示:TensorRT 部署中的随机性问题,第一排查对象应是内存与流的时序,而非模型本身。

修复后的验证步骤:如何确认黑图不再复现 ✅

建议按以下顺序跑一轮回归:

1. 用动态工作流分别以 batch 1/2/4/8 各跑 10 次以上,确认无全黑图;
2. 观察终端,确认invalid value encountered in cast不再出现;
3. 在 TensorRT Loader 节点切换sd1.x与sdxl_base引擎各跑一批,确认跨模型无复发;
4. 同一 prompt 下 cfg=8 与 cfg=1 各出几张,确认正常配置与低 CFG 配置均稳定;
5. 删除本地引擎缓存后重新构建一次,排除旧引擎文件干扰。

避坑与自查清单:TensorRT 数值稳定性检查项

• 确认插件版本包含黑图修复提交(改动点:TrTUnet 改用default_stream);
• 运行时批量不超过引擎 profile 的 max batch,避免频繁拆批执行;
• 出现随机黑图时,先搜日志中的invalid value/NaN类警告,再定位到数值产生环节;
• 自定义节点中如需使用非默认 CUDA 流,必须用 event 与默认流建立先后关系;
• 复现问题时先用 PyTorch 工作流跑同参数对照组,隔离模型侧与引擎侧。

写在最后:随机黑图留给部署者的启示

这个案例是 TensorRT 数值稳定性问题的一个典型样本:异步执行 + 多流场景下,"生产者写完"必须先于"消费者读取",顺序由默认流或显式 event 保证,而不是靠运气。随机性问题往往不需要更精密的模型分析,把注意力放回数据搬运的时序上,答案通常就在那里。

【免费下载链接】ComfyUI_TensorRT项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI_TensorRT