查看: 141|回复: 4

关于xavier上TensorRT模型跑得慢的问题

[复制链接]

5

主题

11

帖子

57

积分

科员

Rank: 2

积分
57
发表于 2020-7-14 17:51:56 | 显示全部楼层 |阅读模式
您好,我这儿用xavier跑深度学习模型,速度比本地慢的离谱。
把每一层耗时打出来之后,发现总有一层耗时非常长。
如图,请问如何解决?

图


回复

使用道具 举报

8

主题

44

帖子

178

积分

科员

Rank: 2

积分
178
发表于 2020-7-14 19:45:52 | 显示全部楼层
您好:

由于没有更多的信息,我这边可以建议一些思路。如果需要进一步的信息,可以找我们的技术支持。

1. 慢或者快都是相对的,那同样的模型,在比如PC上,实际的情况是怎样的呢?也就是说这个问题是模型在所有GPU平台上都慢,还是只在Xavier上慢?
2. 您的Xaiver TensorRT的版本是怎样的?
3. 不知道这个模型是否公开,如果公开并且我们这边可以重现,我们就可以给出进一步的分析结果。

目前的信息有限,所以就只能给出这种粗略的问题了。
回复

使用道具 举报

5

主题

11

帖子

57

积分

科员

Rank: 2

积分
57
 楼主| 发表于 2020-7-14 20:36:03 | 显示全部楼层
米米米 发表于 2020-7-14 19:45
您好:

由于没有更多的信息,我这边可以建议一些思路。如果需要进一步的信息,可以找我们的技术支持。

所说的慢就是xavier比pc慢的太多了。
4.4固件,tensorrt7

我们使用的是onnx模型,如果边解析边跑是正常的,
读取序列化模型后是错误的。

这个问题,在自己的pc端是没有的。
回复

使用道具 举报

8

主题

44

帖子

178

积分

科员

Rank: 2

积分
178
发表于 2020-7-15 02:02:53 | 显示全部楼层
lc5104hit 发表于 2020-7-14 20:36
所说的慢就是xavier比pc慢的太多了。
4.4固件,tensorrt7

了解了,那您反馈的可能是一个Jetson通用的问题。

建议可以在此论坛直接向NV的工程师提问。
https://forums.developer.nvidia. ... on-embedded-systems

当然,从问题描述来看,目前的信息仍然无助于解决这个问题。
NV的工程师应该也会向您所需如下信息
1. 可以供NV工程师重现问题的模型
2. PC的配置,显卡的配置,CUDA,CUDNN的版本
回复

使用道具 举报

0

主题

8

帖子

25

积分

办事员

Rank: 1

积分
25
发表于 2020-7-15 13:45:58 | 显示全部楼层
lc5104hit 发表于 2020-7-14 20:36
所说的慢就是xavier比pc慢的太多了。
4.4固件,tensorrt7

这个问题可能也是第一次inference时间比较长导致的,可以试一下多次inference是否还是如此,如果还是如此且是同一层比较慢的话,可能和该层的实现有关系。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 点我注册

本版积分规则


快速回复 返回顶部 返回列表