news 2026/4/15 18:08:41

【YOLOv11】015、YOLOv11模型部署:使用ONNX Runtime进行CPU/GPU推理

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【YOLOv11】015、YOLOv11模型部署:使用ONNX Runtime进行CPU/GPU推理

昨天深夜,隔壁组的同事跑过来问我:“模型在PyTorch里跑得好好的,导出ONNX后推理速度反而慢了,这正常吗?” 我看了眼他的代码,发现他直接把模型丢给ONNX Runtime,连最基本的session配置都没做。这问题太典型了,今天咱们就聊聊YOLOv11的ONNX Runtime部署,那些容易踩坑的细节。

从PyTorch到ONNX:别急着export

很多人拿到训练好的YOLOv11模型,第一反应就是直接torch.onnx.export。先等等,导出前得确保模型处于推理模式:

model.eval()# 这个不能忘model.to('cpu')# 导出时最好在CPU上#
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/15 18:08:36

面试必答: Harness不是AI能力,而是让AI靠谱的“操作系统”!

Harness是确保AI Agent在真实系统中可靠、可控执行的一套工程体系,而非模型本身。它通过环境隔离、规则显式化、任务拆解、验证闭环和失败回路等步骤,约束模型行为,防止生产事故。Harness的核心价值在于控制能力,使AI在出错时后果…

作者头像 李华
网站建设 2026/4/15 18:06:44

从Wireshark抓包到FTP搭建:TCP/IP实验全流程避坑指南(含IIS/FileZilla对比)

从Wireshark抓包到FTP搭建:TCP/IP实验全流程避坑指南 在计算机网络学习过程中,FTP服务器搭建与Wireshark抓包实验是理解TCP/IP协议栈的重要实践环节。许多初学者在尝试将两者结合时,常会遇到端口冲突、匿名登录配置失败、抓包环境搭建困难等问…

作者头像 李华
网站建设 2026/4/15 18:06:44

CAN FD项目实战:在CANoe中为混合网络(CAN/CAN FD)正确配置DBC数据库

CAN FD项目实战:混合网络DBC数据库配置全解析 当传统CAN网络遇上CAN FD,工程师们面临的不仅是带宽提升的喜悦,更是兼容性挑战的考验。去年参与某新能源车厂域控制器项目时,我们团队就曾因DBC配置不当导致整车网络出现间歇性通信故…

作者头像 李华
网站建设 2026/4/15 18:05:36

ModelSim联合仿真:glbl.v版本兼容性排查与修复

1. 为什么glbl.v会成为ModelSim仿真的绊脚石? 第一次用ModelSim跑Vivado工程仿真时,看到glbl.v报错真的会让人头皮发麻。这个看似普通的Verilog文件,其实是Vivado自动生成的全局时钟控制模块。我后来才发现,不同版本的Vivado生成…

作者头像 李华
网站建设 2026/4/15 18:03:21

Trelby:免费开源的多平台剧本创作工具终极指南

Trelby:免费开源的多平台剧本创作工具终极指南 【免费下载链接】trelby The free, multiplatform, feature-rich screenwriting program! 项目地址: https://gitcode.com/gh_mirrors/tr/trelby 你是否曾经为剧本格式的繁琐调整而烦恼?是否在创作时…

作者头像 李华
网站建设 2026/4/15 18:02:45

ChatGLM-6B性能对比:FP16与INT8量化效果实测

ChatGLM-6B性能对比:FP16与INT8量化效果实测 1. 引言 在实际部署大语言模型时,我们经常面临一个关键问题:如何在有限的硬件资源下平衡模型性能和推理效率?ChatGLM-6B作为一款优秀的开源双语对话模型,提供了多种量化选…

作者头像 李华