查看: 118|回复: 4

有关xavier跑TensorRT序列化模型较慢的问题

[复制链接]

5

主题

11

帖子

57

积分

科员

Rank: 2

积分
57
发表于 2020-7-14 16:13:35 | 显示全部楼层 |阅读模式
您好,我这儿试着跑一个onnx模型,顺便把模型序列化了。
同样的程序,读序列化文件后跑模型,在pc端速度没有变化,在arm端速度降低了4倍。
请问下,这是什么原因阿?我需要怎么做才能让它正常跑?


回复

使用道具 举报

0

主题

8

帖子

25

积分

办事员

Rank: 1

积分
25
发表于 2020-7-15 10:11:56 | 显示全部楼层
看您的描述,应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大,有可能是因为下面的原因引起的:
1. 读取序列化文件进行inference的时候,第一次运行会比较慢,可以尝试多次运行inference获得稳定时间。
2. 读取onnx文件并序列化时Xavier开启了最大性能模式,而读取序列化文件时没有开启,或者恰好相反。

如还未能解决问题,如果模型是可以公开的话,可以给我们尝试重现一下。
回复

使用道具 举报

5

主题

11

帖子

57

积分

科员

Rank: 2

积分
57
 楼主| 发表于 2020-7-15 13:07:55 | 显示全部楼层
marfty 发表于 2020-7-15 10:11
看您的描述,应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大,有可能是因为下面的原因引起的 ...

十分感谢,是您说的原因,第一次比较慢。
跑了100次,从10几次开始时间就稳定。
感谢老司机!
回复

使用道具 举报

5

主题

11

帖子

57

积分

科员

Rank: 2

积分
57
 楼主| 发表于 2020-7-15 13:21:20 | 显示全部楼层
marfty 发表于 2020-7-15 10:11
看您的描述,应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大,有可能是因为下面的原因引起的 ...

模型是公共数据集的,可以公开。
不知怎么联系您呢?

我还是希望有方法从第一次就可以满速跑,因为可能要有很多模型同时部署,
如果做不到第一次满速跑,之后的模型进行交叉运行,速度又会降低了。
回复

使用道具 举报

0

主题

8

帖子

25

积分

办事员

Rank: 1

积分
25
发表于 2020-7-15 13:41:11 | 显示全部楼层
lc5104hit 发表于 2020-7-15 13:21
模型是公共数据集的,可以公开。
不知怎么联系您呢?

这个没办法第一次就达到正常速度,但是对于长时间检测应该影响不大,因为只会影响到前几帧的速度,后面就很稳定了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 点我注册

本版积分规则


快速回复 返回顶部 返回列表