有关xavier跑TensorRT序列化模型较慢的问题

您好，我这儿试着跑一个onnx模型，顺便把模型序列化了。
同样的程序，读序列化文件后跑模型，在pc端速度没有变化，在arm端速度降低了4倍。
请问下，这是什么原因阿？我需要怎么做才能让它正常跑？

看您的描述，应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大，有可能是因为下面的原因引起的：
1. 读取序列化文件进行inference的时候，第一次运行会比较慢，可以尝试多次运行inference获得稳定时间。
2. 读取onnx文件并序列化时Xavier开启了最大性能模式，而读取序列化文件时没有开启，或者恰好相反。

如还未能解决问题，如果模型是可以公开的话，可以给我们尝试重现一下。

marfty 发表于 2020-7-15 10:11
看您的描述，应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大，有可能是因为下面的原因引起的 ...

十分感谢，是您说的原因，第一次比较慢。
跑了100次，从10几次开始时间就稳定。
感谢老司机！

marfty 发表于 2020-7-15 10:11
看您的描述，应该是读取序列化的模型文件和读取onnx模型文件的速度差距很大，有可能是因为下面的原因引起的 ...

模型是公共数据集的，可以公开。
不知怎么联系您呢？

我还是希望有方法从第一次就可以满速跑，因为可能要有很多模型同时部署，
如果做不到第一次满速跑，之后的模型进行交叉运行，速度又会降低了。

lc5104hit 发表于 2020-7-15 13:21
模型是公共数据集的，可以公开。
不知怎么联系您呢？

这个没办法第一次就达到正常速度，但是对于长时间检测应该影响不大，因为只会影响到前几帧的速度，后面就很稳定了。