onnxruntime-rocm可以使用，识别速度挺快的

[nzm001]

问题描述 / Problem Description

上次用核显ROCM加速效果一般，这次换RX6600加速效果可以。刚好和pytorch对比速度，看看A卡有没有必要多安装一个pytorch。

运行环境 / Runtime Environment

• Ubuntu 24.04
• Python 3.12.3

复现代码 / Reproduction Code

修改infer_engine.py，把CPUExecutionProvider替换为ROCMExecutionProvider。参考https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/native_linux/install-onnx.html，安装ROCM和onnxruntime-rocm。

pip3 uninstall onnxruntime-rocm
pip3 install onnxruntime-rocm -f https://repo.radeon.com/rocm/manylinux/rocm-rel-6.3.2/

结果（十次平均）

效率提高3.5倍

• GPU RX6600：[0.09092569040001308, 0.0501723051071167, 0.2702143430709839]
• CPU 5600: [0.3116320829999495, 0.02931690216064453, 1.090583086013794]

[SWHL]

好的，等我写完2.0.0的rapidocr。 感兴趣的话，可以加个微信。微信号发我邮箱，我加你。 ***@***.***

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2025年02月15日 17:41 | | 收件人 | RapidAI/RapidOCR ***@***.***> | | 抄送人 | Subscribed ***@***.***> | | 主题 | [RapidAI/RapidOCR] onnxruntime-rocm可以使用，识别速度挺快的 (Discussion #340) | 问题描述 / Problem Description 上次用核显ROCM加速效果一般，这次换RX6600加速效果可以。刚好和pytorch对比速度。 运行环境 / Runtime Environment Ubuntu 24.04 Python 3.12.3 复现代码 / Reproduction Code 修改infer_engine.py，把CPUExecutionProvider替换为ROCMExecutionProvider。参考https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/native_linux/install-onnx.html pip3 uninstall onnxruntime-rocm pip3 install onnxruntime-rocm -f https://repo.radeon.com/rocm/manylinux/rocm-rel-6.3.2/ 结果（十次平均） 效率提高3.5倍 GPU RX6600：[0.09092569040001308, 0.0501723051071167, 0.2702143430709839] CPU 5600: [0.3116320829999495, 0.02931690216064453, 1.090583086013794] — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[nzm001]

好的，发给[email protected]了

[nzm001]

补充，双休天测的，忘了发。测试都是测十一个循环并排除第一次取平均（十次平均）。

结果发现CPU用openvino甚至可以跑赢同代的GPU 1050Ti，离谱，onnxruntime-gpu也不是完全不能用。