新发现 将模型使用tensorRT优化后 推理速度可以提升近三倍

asa

这是官方程序的源码 普通pth模型

1. <blockquote> tg8x_dml.py ./work/xxx/input/00179 ./work/xxx/output/00179 0 TecoGAN8X_AF1b_253K@7t.pth 0 normal png

复制代码

这是使用onnx框架推理的效果 虽然推理时间基本一致，但框架是轻量化的 可以实现amd显卡以及intel显卡的多平台部署。

1. gpu_id=0
   
2. scale=8
   
3. nf=128
   
4. nb=20
   
5. extension=png
   
6. (653, 1, 1, 160, 128, 3)
   
7. Inference time: 4.2258 seconds
   
8. Image saving time: 6.2868 seconds

复制代码

这是N卡最强优化 TensorRT 推理速度是普通pth的四倍

1. You engine has dynamic axes, please warm up by yourself !
   
2. gpu_id=0
   
3. scale=8
   
4. nf=128
   
5. nb=20
   
6. extension=png
   
7. (653, 1, 160, 128, 3)
   
8. Inference time: 0.9028 seconds
   
9. Image saving time: 6.0081 seconds

复制代码

asa

补一个TensorRT的engine文件的图

power00

Thanks

heng155

太6了大哥，能分享下该怎么替换或操作吗

asa

heng155 发表于 2024-10-9 14:03
太6了大哥，能分享下该怎么替换或操作吗

文件保存的io操作是最慢的 这个替换价值不大 估计只能快15%左右，需要我重新编译整个py的内容成exe 调整 网络的架构。

asa

另外tensorRT高度依赖你的显卡 需要下载onnx 然后用我后面会做好的 tensorRT 编译器获得engine文件 这个过程你需要安装很多依赖 TensorRT还有CUDA环境

1711961725

虽然看不懂 但是大佬牛逼

1711961725

asa 发表于 2024-10-9 18:39
另外tensorRT高度依赖你的显卡 需要下载onnx 然后用我后面会做好的 tensorRT 编译器获得engine文件 这个过 ...

到时候能做个教程吗 真的好吊的样子

asa

1711961725 发表于 2024-10-9 19:04
到时候能做个教程吗 真的好吊的样子

我怕教程第一章就全看不懂了 这真要有一些python 编程基础 深度学习的理解才可以看的

1711961725

asa 发表于 2024-10-9 19:13
我怕教程第一章就全看不懂了 这真要有一些python 编程基础 深度学习的理解才可以看的 ...

确实 这个涉及底层代码的确实没基础搞不来 说不定搞不好还把电脑搞崩溃了