查看: 298|回复: 3

关于Jetpack4.4-1.0镜像安装tf后模型推理速度变慢的问题

[复制链接]

1

主题

2

帖子

19

积分

办事员

Rank: 1

积分
19
发表于 2020-11-2 17:01:41 | 显示全部楼层 |阅读模式
在MIIVII EVO Xavier上,同样的代码同样的模型在Jetpack4.2-1.6镜像上检测同一张图像需要40秒,在Jetpack4.4-1.0上需要70秒。模式都是30W all
Jetpack4.2-1.6:TensorFlow-1.14.-+nv19.7(原来已经安装好了的tf环境)
Jetpack4.4-1.0:TensorFlow-1.15.3+nv20.9(自行安装的tf环境,而且编译部分包时会出现 cc1plus: execvp: no such file or directory错误,导致编译失败)

请问我是不是漏了什么包没安装,或者哪里设置不对,又或者需要注意什么。


回复

使用道具 举报

1

主题

11

帖子

358

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
358
发表于 2020-11-2 17:08:45 | 显示全部楼层
请问您有没有和开发板对比过呢?
Jetpack升级是可能导致对应模型运行速度不一样的,但原因往往是tf和tensorRT适配,或者tf和新版本cuda适配的问题。并不是米文硬件的问题。

对于JP4.4上的tensorflow,强烈建议您不要自己编译,而是参考下列地址的whl文件进行安装。
https://elinux.org/Jetson_Zoo
回复

使用道具 举报

1

主题

2

帖子

19

积分

办事员

Rank: 1

积分
19
 楼主| 发表于 2020-11-2 17:35:13 | 显示全部楼层
tensorflow包,肯定不是自己编译,但是相应的部分依赖模块需要下载编译啊。按NVIDIA官网https://docs.nvidia.com/deeplear ... .html#tf-jetson-rel
介绍,4.4的包最新是1.15.3        20.09, 20.08, 20.07        4.4,而且我之前安装了也没有问题。现在我又按你的连接,把tf版本降到了1.15.2+nv20.6,但是推理时间还是没有改善。

我没有说是米文硬件的问题,同一台设备,在两个不同环境下时间差了将近一倍,肯定是软件的问题。我不知道你们有没有做过相应的对比测试,如果有希望能分分享一下Jetpack4.4最新的镜像。但是你们从八月份现在都还没有更新EVO Xavier的镜像。原来Jetpack4.2.2+1.6.0的镜像就已经配好了TensorFlow1.14,现在几个月都还没有
回复

使用道具 举报

10

主题

142

帖子

506

积分

版主

Rank: 7Rank: 7Rank: 7

积分
506
发表于 2020-11-2 17:53:55 | 显示全部楼层
mvevoxavier 发表于 2020-11-2 17:35
tensorflow包,肯定不是自己编译,但是相应的部分依赖模块需要下载编译啊。按NVIDIA官网https://docs.nvidi ...

您好,Jetpack的镜像是跟随Nvidia的Jetpack release进行的呀,您用的就是最新的呢。
因为NV的Jetpack4.4并没有进行升级,并且我的镜像中也没有发现新的bug,因此没有升级的必要呀。

我们在镜像中主要会进行tensorRT相关的评测,JP4.4和JP4.2并没有明显的速度差异。
但tensorflow的确是没有进行相关的评测。

您的这个问题的确比较奇怪,我建议您可以去devtalk上面提问,NV专家的回答更专业哦。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 点我注册

本版积分规则


快速回复 返回顶部 返回列表