v5的官方识别模型转成onnx推理很慢，显示gpu又再用的.

[cqray1990]

问题描述 / Problem Description

v5的官方识别模型转成onnx推理很慢，显示gpu又再用的.检测模型也很慢，检测模型也转成onnx ，跑通检测和识别这个流程很慢

运行环境 / Runtime Environment

onnxruntime-gpu 1.13.1 cuda 11.6

复现代码 / Reproduction Code

paddle2onnx --model_dir /PP-OCRv5_server_rec_infer \
--model_filename inference.json \
--params_filename inference.pdiparams \
--save_file /text_rec.onnx \
--opset_version 11 \
--enable_onnx_checker True

转成onnx后用onnxruntime-gpu部署很慢

@DogeVenci @theikkila @benjaminwan

[SWHL]

onnxruntime-gpu在ocr任务上本来就很慢。参考文档：https://rapidai.github.io/RapidOCRDocs/main/blog/2022/09/24/onnxruntime-gpu%E6%8E%A8%E7%90%86/

[dium6i]

这次选了一些不同尺寸的图片测试，整体还是GPU会好一些。我这边是自己改的一版OCR推理代码，不是用的RapidOCR，这个应该不会有影响。

[SWHL]

神奇，onnxruntime-gpu之前测试的都比CPU版慢呀。方便提供一下上面的测试图吗？我这里测测

[dium6i]

我删了一张图，部分图处理了下用户隐私，应该不影响。检测模型用的limit_side_len=1920，limit_type=max，检测、分类、识别模型都使用了。
infer_imgs.zip

[SWHL]

你这里使用onnxruntime-gpu时，是啥配置呀。我和你配置为一样的，看看

[dium6i]

不是很理解你说的“配置”是指什么，下面列了一些模型的初始化参数。我是用v4的模型测试的。

onnx模型初始化：
options = SessionOptions()
options.enable_cpu_mem_arena = True # False: 每次推理都可能重新申请和释放内存
options.enable_mem_pattern = True # 启用内存优化（内存复用）
options.execution_mode = ExecutionMode.ORT_SEQUENTIAL
options.graph_optimization_level = GraphOptimizationLevel.ORT_ENABLE_ALL
options.intra_op_num_threads = 4 # 单个操作（op）内部使用的线程数，一般调这个
options.inter_op_num_threads = 1 # 多个操作（op）之间使用的线程数

det模型：
limit_side_len: int = 1920,
limit_type: str = "max",

cls模型：
self.cls_image_shape = [3, 48, 192]
self.cls_batch_num = 8
self.cls_thresh = 0.9

rec模型：
self.rec_batch_num = 16

[cqray1990]

我直接用的官方的代码，只是数据是自己的，真的是慢，测试应该不会有错

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2025年06月23日 11:24 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [RapidAI/RapidOCR] v5的官方识别模型转成onnx推理很慢，显示gpu又再用的. (Discussion #444) | 你这里使用onnxruntime-gpu时，是啥配置呀。我和你配置为一样的，看看 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[SWHL]

我也正纳闷的呢。我之前就测过就是慢啊

[SWHL]

@dium6i 我这里重新测试了，ort gpu版依旧慢。方便的话，在你的机器上运行一下下面的代码，看看呢

GPU与CPU处理时间对比表

文件名	GPU处理时间（s）	CPU处理时间（s）
01-1.jpg	33.29	2.95
01-2.jpg	24.72	1.40
02-1.jpg	43.99	4.35
02-2.jpg	50.09	8.96
1330001000080181003801_1.jpg	16.19	2.76
filter.png	10.92	0.59
general.png	21.79	0.46
henan_0000.jpg	14.75	0.90
henan_0001.jpg	11.50	1.26
henan_0002.jpg	13.22	1.13
henan_0003.jpg	15.96	1.30
Snipaste_2025-06-20_17-47-59.jpg	5.60	1.09
Snipaste_2025-06-23_09-09-59.jpg	19.02	1.94
avg	21.62	2.24

测试代码：

from pathlib import Path

# rapidocr==3.2.0
from rapidocr import RapidOCR

# GPU
# pip install onnxruntime-gpu==1.18.0
engine = RapidOCR(params={"EngineConfig.onnxruntime.use_cuda": True})

# CPU
# pip install onnxruntime==1.22.0
# engine = RapidOCR()

elapses = []
img_list = list(Path("infer_imgs").iterdir())
for img_path in img_list:
    result = engine(img_path)
    print(f"{img_path.name}: {result.elapse:.2f}s")

    elapses.append(result.elapse)

avg_elapse = sum(elapses) / len(elapses)

print(f"avg: {avg_elapse:.2f}s")

[dium6i]

直接运行以上代码，结果如下：

我的环境：Python 3.12、onnxruntime-gpu==1.22.0
我的硬件：Ubuntu 22.04.2、3080Ti、驱动550.135

[cqray1990]

我测好多次变，一直怀疑是不是代码哪里问题，后来直接用仓库代码测试依旧是，就是慢

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2025年06月23日 20:47 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [RapidAI/RapidOCR] v5的官方识别模型转成onnx推理很慢，显示gpu又再用的. (Discussion #444) | 我这里重新测试了，ort gpu版依旧慢： GPU与CPU处理时间对比表 | 文件名 | GPU处理时间（s） | CPU处理时间（s） | | 01-1.jpg | 33.29 | 2.95 | | 01-2.jpg | 24.72 | 1.40 | | 02-1.jpg | 43.99 | 4.35 | | 02-2.jpg | 50.09 | 8.96 | | 1330001000080181003801_1.jpg | 16.19 | 2.76 | | filter.png | 10.92 | 0.59 | | general.png | 21.79 | 0.46 | | henan_0000.jpg | 14.75 | 0.90 | | henan_0001.jpg | 11.50 | 1.26 | | henan_0002.jpg | 13.22 | 1.13 | | henan_0003.jpg | 15.96 | 1.30 | | Snipaste_2025-06-20_17-47-59.jpg | 5.60 | 1.09 | | Snipaste_2025-06-23_09-09-59.jpg | 19.02 | 1.94 | | avg | 21.62 | 2.24 | 测试代码： frompathlibimportPath# rapidocr==3.2.0fromrapidocrimportRapidOCR# GPU# pip install onnxruntime-gpu==1.18.0engine=RapidOCR(params={"EngineConfig.onnxruntime.use_cuda": True}) # CPU# pip install onnxruntime# engine = RapidOCR()elapses= [] img_list=list(Path("infer_imgs").iterdir()) forimg_pathinimg_list: result=engine(img_path) print(f"{img_path.name}: {result.elapse:.2f}s") elapses.append(result.elapse) avg_elapse=sum(elapses) /len(elapses) print(f"avg: {avg_elapse:.2f}") — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[SWHL]

再安装一下cpu版本ort，再跑一下试试

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2025年06月24日 08:58 | | 收件人 | RapidAI/RapidOCR ***@***.***> | | 抄送人 | SWHL ***@***.***>, Comment ***@***.***> | | 主题 | Re: [RapidAI/RapidOCR] v5的官方识别模型转成onnx推理很慢，显示gpu又再用的. (Discussion #444) | 直接运行以上代码，结果如下： Snipaste_2025-06-24_08-56-00.jpg (view on web) 我用的是Python 3.12、onnxruntime-gpu==1.22.0 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[dium6i]

看你的显卡型号，我想起来：
1、之前在A100上测试过YOLOv8的检测模型，相对于CPU没有加速效果；
2、刚刚在A100上测试OCR，也是相对于CPU没有加速效果，但没有像你那边反而慢很多。

感觉可能是因为A100、A800架构和3080这些一般的显卡不一样导致的。

@cqray1990 你那边也是类似于A100、A800这样的专业卡么？

[SWHL]

很有可能是显卡问题。我这边慢一直都是A系列显卡测的，就没有过游戏卡测过。

[cqray1990]

看你的显卡型号，我想起来： 1、之前在A100上测试过YOLOv8的检测模型，相对于CPU没有加速效果； 2、刚刚在A100上测试OCR，也是相对于CPU没有加速效果，但没有像你那边反而慢很多。 感觉可能是因为A100、A800架构和3080这些一般的显卡不一样导致的。

@cqray1990 你那边也是类似于A100、A800这样的专业卡么？
我用2080 RTX 测试的onnx模型，依旧是满的，，同时我用固定图片的大小识别，没有动态宽高，还是慢，我觉得应该是算子问题吧，CRNN模型用动态模型没这么慢
@SWHL @dium6i

[cqray1990]

看你的显卡型号，我想起来： 1、之前在A100上测试过YOLOv8的检测模型，相对于CPU没有加速效果； 2、刚刚在A100上测试OCR，也是相对于CPU没有加速效果，但没有像你那边反而慢很多。 感觉可能是因为A100、A800架构和3080这些一般的显卡不一样导致的。
@cqray1990 你那边也是类似于A100、A800这样的专业卡么？
我用2080 RTX 测试的onnx模型，依旧是满的，，同时我用固定图片的大小识别，没有动态宽高，如果固定识别图片大小不动态是不是会快一点呢？没有频繁申请显存？，还是慢，我觉得应该是算子问题吧，CRNN模型用动态模型没这么慢
@SWHL @dium6i

[SWHL]

的确和算子有问题。CRNN系列的都很快。