显卡是影响VLM推理速度最直接的硬件因素。不同显卡的算力差异很大，同样一个模型，高端卡和入门卡的推理速度能差出3-4倍。但换显卡是不是越贵越好？性价比怎么算？显存多大才够用？这篇文章用实测数据说话。
测试环境说明
测试模型选用LLaVA-1.6-7B，这是目前吊牌检测场景中常用的VLM模型之一，7B参数量，既能理解图像语义，推理速度又在可接受范围内。输入图像尺寸384×384，TensorRT-LLM FP16精度，单张推理（batch size=1），连续推理100张吊牌取平均延迟。测试用吊牌图片为真实产线采集，包含覆膜、烫金、普通卡纸等多种材质，图像内容包含品牌名、尺码、成分、条码等完整信息，每张图片的文字密度和复杂度一致。
五张显卡的实测数据
以下是五张显卡在同一测试环境下的实测数据：
- GTX 1080 Ti（11GB）：620ms，显存占用7.2GB
- RTX 3060（12GB）：480ms，显存占用7.8GB
- RTX 4070（12GB）：320ms，显存占用7.5GB
- RTX 4080（16GB）：240ms，显存占用8.0GB
- RTX 4090（24GB）：180ms，显存占用8.1GB
从GTX 1080 Ti到RTX 4090，推理速度提升了3.4倍。但每张卡的价格和速度提升比例不同，需要具体分析。
显卡性能差异的原因分析
不同显卡的推理速度差异主要来自三个硬件指标。
- CUDA核心数量**决定了GPU同时执行多少条指令。RTX 4090有16384个CUDA核心，RTX 3060有3584个，差了4.5倍。VLM模型有大量矩阵乘法运算，这些运算可以高度并行，CUDA核心越多，同一时间能处理的矩阵元素越多。
- 显存带宽**决定了数据从显存搬到计算单元的速度。RTX 4090的显存带宽约1008GB/s，RTX 3060约360GB/s，差了2.8倍。VLM模型有7B参数，FP16精度下约14GB，虽然模型本身占用7-8GB显存（TensorRT优化后），但推理过程中需要频繁读写中间激活值，显存带宽直接影响推理速度。
- Tensor Core**是NVIDIA专门为矩阵运算设计的计算单元，RTX 3060及以上型号都支持，但不同代的Tensor Core性能不同。RTX 4090的第四代Tensor Core比RTX 3060的第三代快了约2倍。
显存够不够用
显存容量决定了能跑多大的模型、多大的批量。
LLaVA-1.6-7B在FP16精度下显存占用约7-8GB。Qwen-VL-7B约9GB，需要16GB显存。InternVL2-8B约10GB，也需要16GB以上。如果需要跑更大模型或更大的批量，显存要求更高。RTX 4090的24GB可以跑大多数VLM模型，包括13B参数级别的模型。RTX 3060的12GB只能跑7B级别的模型，批量大小建议设为1。
实际部署中建议留出20%的显存余量。显存占用超过显卡总显存的80%时，性能会明显下降。
性价比分析
- 1080 Ti（二手约1500元）：620ms，每元推理速度0.41ms/元，但已停产，二手市场不稳定
- 3060（约2500元）：480ms，每元推理速度0.19ms/元
- 4070（约4500元）：320ms，每元推理速度0.071ms/元
- 4080（约8000元）：240ms，每元推理速度0.030ms/元
- 4090（约16000元）：180ms，每元推理速度0.011ms/元
4070是目前性价比最高的选择。它的速度是3060的1.5倍，价格是3060的1.8倍，性价比略低于3060。但如果产线对延迟有要求（<300ms），3060的480ms不达标，4070的320ms勉强达标，4080的240ms达标但价格贵了近一倍。如果预算充足，4080是最稳妥的选择。4090性价比最低，除非对速度有极致要求，否则不推荐。
单纯换显卡的天花板
单纯换显卡也有天花板。VLM模型有大量矩阵运算，算力提升到一定程度后，通信和内存带宽成为瓶颈。
RTX 4090相比RTX 4080，CUDA核心多了68%，显存带宽多了25%，但推理速度只快了25%。算力提升的边际效益在递减，因为模型推理不仅是计算密集，也是访存密集。当计算速度超过访存速度时，GPU在等待数据从显存中读取，算力再高也发挥不出来。
如果要追求极致速度，在换显卡之外需要配合TensorRT优化、模型量化、多GPU并行等手段。单靠换显卡，RTX 4090已经是天花板，再往上消费级显卡没有更高型号了（RTX A6000等专业卡性价比更低），超过180ms的极限需要靠其他手段突破。
