为什么这么快？c-foundationstereo-s TensorRT部署完整指南（含固定形状模型转换）-开发者社区

【免费下载链接】c-foundationstereo-s

项目地址：https://ai.gitcode.com/hf_mirrors/nvidia/c-foundationstereo-s

想让双目立体深度估计跑出毫秒级速度？c-foundationstereo-s是 NVIDIA 开源的立体深度基础模型（FoundationStereo Small），输入左右两路 RGB 图像，直接输出精确的视差图（Disparity Map）。它提供预转换的 ONNX 模型，配合 TensorRT 即可在 A100、Orin AGX、RTX 5090 等设备上以 FP16 精度高速推理——本文带你从零完成部署，并讲清楚"固定形状模型"为何是速度的关键。

📦 仓库里有什么？先看清模型文件

下载前先看 README.md，它完整描述了模型架构、输入输出格式与性能数据。仓库结构非常简洁：

文件	说明
onnx/deployable_foundationstereo_small_320x736_v2.0.onnx	固定形状模型（320×736），支持 ONNX + TensorRT
onnx/deployable_foundationstereo_small_576x960_v2.0.onnx	固定形状模型（576×960），支持 ONNX + TensorRT
onnx/deployable_foundation_stereo_s_dynamic.onnx	动态形状模型，仅支持 ONNX Runtime
onnx/legacy/	旧版本模型归档（v1.0 打包版、L 版动态模型）
trainable_foundation_stereo_small.pth	PyTorch 可训练权重，用于二次训练或自行导出

💡 输入格式为B x 3 x H x W（左右双目各一张 RGB 图），输出为B x 3 x H x W的视差图；拿到相机内参后即可换算出深度图。

⚡ 为什么固定形状模型更快？

TensorRT 的核心加速手段是算子融合、kernel 自动调优与内存规划，而这些优化都依赖"编译期已知的输入尺寸"：

动态形状模型无法编译 FP16 引擎。README 明确指出：动态形状模型（dynamic）无法转换为 FP16 的 TensorRT 引擎，只能走 ONNX Runtime 推理，速度受限。
固定形状模型可完整享受 TensorRT 优化。320×736 与 576×960 两个版本均按固定分辨率编译，引擎内无动态 shape 分支，计算图更紧凑。
FP16 精度：性能测试全部基于 FP16，在保持精度的同时吞吐翻倍。

简单记：要速度选固定形状（320×736 / 576×960），要灵活选动态形状（但只能用 ONNX Runtime）。你的视频流分辨率若能裁/缩放到上述规格，就优先用固定形状模型。

🚀 最快配置方法：三步构建 TensorRT 引擎

第 1 步：获取模型

git clone https://gitcode.com/hf_mirrors/nvidia/c-foundationstereo-s cd c-foundationstereo-s

第 2 步：用 trtexec 一键转换 ONNX 为 TensorRT 引擎

trtexec 是 TensorRT 自带的命令行工具，固定形状模型转换只需一条命令：

trtexec --onnx=onnx/deployable_foundationstereo_small_320x736_v2.0.onnx \ --fp16 \ --minShapes=left:1x3x320x736,right:1x3x320x736 \ --optShapes=left:1x3x320x736,right:1x3x320x736 \ --maxShapes=left:1x3x320x736,right:1x3x320x736 \ --saveEngine=stereo_320x736_fp16.engine

参数说明：

--fp16：开启半精度，这是速度的关键开关；
--minShapes / --optShapes / --maxShapes：固定形状下三者一致，引擎最快；
--saveEngine：输出可加载的引擎文件，部署时直接加载即可，省去重复编译。

第 3 步：加载引擎推理

在 C++/Python 推理程序（如 TAO Triton apps 或自研 pipeline）中加载.engine文件，按B x 3 x H x W送入左右双目帧，取出视差图，再用相机内参换算深度。

📊 各硬件实测性能一览（FP16，BS=1）

以下数据来自官方 README.md 中的 trtexec 实测结果，一眼看懂"为什么这么快"：

硬件平台	分辨率	单帧延迟 (ms)	吞吐 (帧/秒)
Orin AGX	320×736	1039	1.00
Thor AGX	320×736	1460.95	0.67
Thor AGX	576×960	2750	0.36
A100	320×736	199.32	5.00
A100	576×960	437.14	2.24

⚠️ 注意：上表仅为模型推理耗时。接入实时视频流后，采集、解码、前后处理可能成为新的瓶颈，端到端性能需另行评估。

🏭 生产级部署：接入 Triton Inference Server

如果要做完整的端到端应用（采集 → 解码 → 推理 → 后处理），推荐用Triton Inference Server承载 TensorRT 引擎：

Triton 原生支持直接加载 TensorRT 引擎，提供标准化 gRPC/HTTP 推理接口；
搭配 TAO Triton apps 可快速搭建"采集 + 解码 + 推理"流水线，适合机器视觉产线与机器人场景；
该模型已明确面向边缘端 TensorRT 部署设计，在 Jetson（Orin、Thor）、数据中心卡（A100、H100）、消费级卡（RTX 5090、L40）上均经过验证。

支持的 GPU 架构：Ampere、Blackwell、Hopper、Turing、Volta、Pascal、Lovelace 以及整个 Jetson 系列；操作系统推荐 Linux。

📌 使用限制与注意事项

失败案例：透明物体（玻璃、水面）、高饱和场景、弱光环境下深度可能不可靠；
遮挡物体：部分或完全被遮挡的物体可能无法正确估计；
动态模型限制：onnx/deployable_foundation_stereo_s_dynamic.onnx 不能转 FP16 TensorRT 引擎，仅 ONNX Runtime 可用；
旧版本：onnx/legacy/ 中的 v1.0 模型为早期打包版本，新项目建议直接使用根目录下的 v2.0 固定形状模型；
许可协议：遵循 NVIDIA Open Model License，商用前请阅读 README.md 中的 License 说明。

📚 相关文件资料清单

模型卡与完整文档：README.md
固定形状 ONNX 模型（320×736）：onnx/deployable_foundationstereo_small_320x736_v2.0.onnx
固定形状 ONNX 模型（576×960）：onnx/deployable_foundationstereo_small_576x960_v2.0.onnx
动态形状 ONNX 模型（仅 ONNX Runtime）：onnx/deployable_foundation_stereo_s_dynamic.onnx
PyTorch 可训练权重：trainable_foundation_stereo_small.pth

总结：c-foundationstereo-s快的本质 =固定形状 + FP16 + TensorRT 图优化。如果你的业务分辨率接近 320×736 或 576×960，直接用对应固定形状模型构建引擎，即可获得 README 中列出的实测性能；需要任意分辨率时再退回动态形状模型 + ONNX Runtime 的组合。