张小明
前端开发工程师
开篇先跟你讲个真实故事。上周有个做智慧安防的朋友找我，说他的YOLOv11模型在Jetson Orin上跑得挺欢，但一换到Jetson Nano上就卡成了PPT，每秒只有8帧。
他问我：“是不是得换硬件？”我说：“别急，你模型权重还是FP32的吧？量化一下，FP16至少翻倍，INT8能到4倍。”
他半信半疑试了，结果FP16直接飙到22帧，INT8干到35帧，精度只掉了0.8%。他发了个“跪了”的表情包过来。这就是我今天要带你干的事——用ONNX Runtime和TensorRT，把YOLOv11的推理速度再提2-3倍，精度损失控制在1%以内。
很多人一提到量化，就以为“把float32转成int8就完事了”。结果跑出来要么精度崩成狗，要么速度没提升反而更慢。我见过最典型的反例是下面这段代码：
# 反例：直接暴力量化，不考虑校准数据集importonnxfromonnxruntime.quantizationimportquaReprocessing未来路线图：即将到来的3D功能与新特性展望 【免费下载链接】reprocessing ReasonML graphics library inspired by Processing 项目地址: https://gitcode.com/gh_mirrors/re/reprocessing Reprocessing作为基于ReasonML的图形库，以P…
李华
不要任何基础，2小时速通Python爬虫！专为0基础小白打造的Python爬虫教程 你是不是经常看到别人用Python爬虫轻松获取数据，自己却觉得门槛太高？或者尝试过几次，总是在环境配置、代码报错、反爬虫机制面前败下阵来&#…
李华
forensictools工具清单详解：从二进制分析到内存取证的12大分类全览 【免费下载链接】forensictools Collection of forensic tools 项目地址: https://gitcode.com/gh_mirrors/fo/forensictools forensictools是一款集成了12大分类的数字取证工具集合&#x…
李华
1. 3DSMax插件生态的双轨制：脚本与程序的本质差异 在3DSMax这个三维建模与动画制作的重量级软件中，插件生态呈现出明显的双轨并行特征。从业十余年，我深刻体会到MAXScript脚本与Python/C插件这两种技术路线给工作流带来的根本性差异。 MAXSc…
李华
1.结构体内存布局的基本规则1.1.成员顺序结构体的成员在内存中按照声明的顺序依次存放。第一个成员的地址与结构体的地址相同。struct Example {char a; // 1字节int b; // 4字节 double c; // 8字节short d; // 2字节 };1.2 对齐要求和结构体大小的计算结构…
李华
1. 从模拟到数字的桥梁：DDS究竟是什么？ 如果你在信号发生器、通信系统或者音频设备里翻找过技术手册，大概率会碰到一个缩写：DDS。全称是Direct Digital Synthesis，直接数字合成。这个名字听起来有点学术，但…
李华