关于xavier上TensorRT模型跑得慢的问题

您好，我这儿用xavier跑深度学习模型，速度比本地慢的离谱。
把每一层耗时打出来之后，发现总有一层耗时非常长。
如图，请问如何解决？

图

您好：

由于没有更多的信息，我这边可以建议一些思路。如果需要进一步的信息，可以找我们的技术支持。

1. 慢或者快都是相对的，那同样的模型，在比如PC上，实际的情况是怎样的呢？也就是说这个问题是模型在所有GPU平台上都慢，还是只在Xavier上慢？
2. 您的Xaiver TensorRT的版本是怎样的？
3. 不知道这个模型是否公开，如果公开并且我们这边可以重现，我们就可以给出进一步的分析结果。

目前的信息有限，所以就只能给出这种粗略的问题了。

米米米 发表于 2020-7-14 19:45
您好：

由于没有更多的信息，我这边可以建议一些思路。如果需要进一步的信息，可以找我们的技术支持。

所说的慢就是xavier比pc慢的太多了。
4.4固件，tensorrt7

我们使用的是onnx模型，如果边解析边跑是正常的，
读取序列化模型后是错误的。

这个问题，在自己的pc端是没有的。

lc5104hit 发表于 2020-7-14 20:36
所说的慢就是xavier比pc慢的太多了。
4.4固件，tensorrt7

了解了，那您反馈的可能是一个Jetson通用的问题。

建议可以在此论坛直接向NV的工程师提问。
https://forums.developer.nvidia. ... on-embedded-systems

当然，从问题描述来看，目前的信息仍然无助于解决这个问题。
NV的工程师应该也会向您所需如下信息
1. 可以供NV工程师重现问题的模型
2. PC的配置，显卡的配置，CUDA，CUDNN的版本

lc5104hit 发表于 2020-7-14 20:36
所说的慢就是xavier比pc慢的太多了。
4.4固件，tensorrt7

这个问题可能也是第一次inference时间比较长导致的，可以试一下多次inference是否还是如此，如果还是如此且是同一层比较慢的话，可能和该层的实现有关系。