ONNX模型部署利器ONNXRUNTIME框架
ONNX模型部署利器ONNXRUNTIME框架
OpenCV学堂
发布于 2023-08-22 13:20:58
发布于 2023-08-22 13:20:58
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识
ONNXRUNTIME介绍
ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，
可以通过设置不同的推理后台支持，包括：
支持语言也非常丰富，不止于Python跟C++语言，支持列表如下：
支持的操作系统包括Windows、Android、乌班图、iOS等。
Python版本安装与测试
Python版本安装特别容易,一条命令行搞定
CPU版本
pip install onnxruntimeGPU版本
pip install onnxruntime-gpu通过下面的API函数可以查询当前支持推理Provider，代码如下：
运行结果如下：
C++版本安装与测试
首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录
D:\microsoft.ml.onnxruntime.gpu.1.13.1\build\native\include然后配置库目录：
D:\microsoft.ml.onnxruntime.gpu.1.13.1\runtimes\win-x64\native最后配置链接器，我的是支持CUDA版本，配置如下：
onnxruntime_providers_shared.lib
onnxruntime_providers_cuda.lib
onnxruntime.lib最后把DLL文件copy到编译生成的可执行文件同一个目录下，直接运行即可。C++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象Session，预处理图像，然后执行推理，最后完成后处理即可。
以ResNet18模型为例，导出ONNX格式，基于ONNXRUNTIME推理效果如下：
本文参与?腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2023-06-17，如有侵权请联系?cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读