Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

NVIDIA Jeston Xavier NX 上部署的一些问题 #47

Open
kukulinxin opened this issue Dec 19, 2023 · 6 comments
Open

NVIDIA Jeston Xavier NX 上部署的一些问题 #47

kukulinxin opened this issue Dec 19, 2023 · 6 comments

Comments

@kukulinxin
Copy link

作者您好,我尝试了在NVIDIA Jeston Xavier NX上部署Dynamic-VINS,相机使用的是Intel RealSense D435i,但目前发现的是图像的帧率比较低,其次是只要IMU很容易漂移。针对图像的帧率比较低的问题,我想问的是作者您有使用GPU加速吗,还是说原文中无人机使用的NVIDIA Jetson AGX Xavier 的CPU能力足够强没有这个问题。针对漂移问题,我使用的是D435i自带的IMU,会不会是因为D435i的IMU精度不够,又或是其他什么原因?希望作者能给予一定建议和传授经验。

@jianhengLiu
Copy link
Collaborator

jianhengLiu commented Dec 19, 2023 via email

@kukulinxin
Copy link
Author

  1. 帧率低可以通过降低特征点数量来提高,目前定位方法只用了 cpu 。当然现在也有很多基于 gpu 的特征提取方法,应该能够大幅提速。 帧率也有可能受限于 yolo 部分,因为需要对检测结果进行同步,你可以看一下哪部分是瓶颈,来针对性做优化 2. Imu 精度不够可以尝试增大 imu 相关的不确定度项。这个也和使用场景有关,如果手持的话,震动没那么大一般好点

    ---Original--- From: @.> Sent at: 2023年12月19日(Tue) Noon1:23 To: @.>; Cc: @.>; Subject: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue NVIDIA Jeston Xavier NX 上部署的一些问题 #47) 作者您好,我尝试了在NVIDIA Jeston Xavier NX上部署Dynamic-VINS,相机使用的是Intel RealSense D435i,但目前发现的是图像的帧率比较低,其次是只要IMU很容易漂移。针对图像的帧率比较低的问题,我想问的是作者您有使用GPU加速吗,还是说原文中无人机使用的NVIDIA Jetson AGX Xavier 的CPU能力足够强没有这个问题。针对漂移问题,我使用的是D435i自带的IMU,会不会是因为D435i的IMU精度不够,又或是其他什么原因?希望作者能给予一定建议和传授经验。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.>

感谢您宝贵的回复和建议,我进一步调试优化试试。

@kukulinxin
Copy link
Author

  1. 帧率低可以通过降低特征点数量来提高,目前定位方法只用了 cpu 。当然现在也有很多基于 gpu 的特征提取方法,应该能够大幅提速。 帧率也有可能受限于 yolo 部分,因为需要对检测结果进行同步,你可以看一下哪部分是瓶颈,来针对性做优化 2. Imu 精度不够可以尝试增大 imu 相关的不确定度项。这个也和使用场景有关,如果手持的话,震动没那么大一般好点

    ---Original--- From: @.> Sent at: 2023年12月19日(Tue) Noon1:23 To: @.>; Cc: @.>; Subject: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue NVIDIA Jeston Xavier NX 上部署的一些问题 #47) 作者您好,我尝试了在NVIDIA Jeston Xavier NX上部署Dynamic-VINS,相机使用的是Intel RealSense D435i,但目前发现的是图像的帧率比较低,其次是只要IMU很容易漂移。针对图像的帧率比较低的问题,我想问的是作者您有使用GPU加速吗,还是说原文中无人机使用的NVIDIA Jetson AGX Xavier 的CPU能力足够强没有这个问题。针对漂移问题,我使用的是D435i自带的IMU,会不会是因为D435i的IMU精度不够,又或是其他什么原因?希望作者能给予一定建议和传授经验。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.>

作者您好,我后来进一步在检测上进行调整,当yolo检测速度提升后,SLAM视觉里程计的tracking的帧率确实有明显提高。但是定位的漂移还是很大(手持),稍微晃一点位姿就开始乱飞了,我尝试在配置文件中把imu关了进行测试,虽然定位精度不一定准确但是不怎么存在漂移,所以感觉还是IMU的问题,目前分析有几种原因:1)D435i给的imu数据不够准确。2)imu标定有问题。因此想再问问作者,你们在真机测试的IMU数据是来自D435i还是无人机上的;如果是imu标定不够精准真的会造成这么大的漂移吗?或者其他的我不知道的原因,我在VINS使用方面可能经验还是太少了,感谢。

@jianhengLiu
Copy link
Collaborator

jianhengLiu commented Dec 22, 2023 via email

@kukulinxin
Copy link
Author

有可能外参不对,你可以自行在 rviz 显示出各个坐标系,看一下对不对 真机使用的飞控 imu 数据 再进一步可以自行尝试调节一下 imu parameters,找到合适的参数

---Original--- From: @.> Sent at: 2023年12月22日(Fri) PM5:21 To: @.>; Cc: @.@.>; Subject: Re: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue #47) 帧率低可以通过降低特征点数量来提高,目前定位方法只用了 cpu 。当然现在也有很多基于 gpu 的特征提取方法,应该能够大幅提速。 帧率也有可能受限于 yolo 部分,因为需要对检测结果进行同步,你可以看一下哪部分是瓶颈,来针对性做优化 2. Imu 精度不够可以尝试增大 imu 相关的不确定度项。这个也和使用场景有关,如果手持的话,震动没那么大一般好点 … ---Original--- From: @.> Sent at: 2023年12月19日(Tue) Noon1:23 To: @.>; Cc: @.>; Subject: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue #47) 作者您好,我尝试了在NVIDIA Jeston Xavier NX上部署Dynamic-VINS,相机使用的是Intel RealSense D435i,但目前发现的是图像的帧率比较低,其次是只要IMU很容易漂移。针对图像的帧率比较低的问题,我想问的是作者您有使用GPU加速吗,还是说原文中无人机使用的NVIDIA Jetson AGX Xavier 的CPU能力足够强没有这个问题。针对漂移问题,我使用的是D435i自带的IMU,会不会是因为D435i的IMU精度不够,又或是其他什么原因?希望作者能给予一定建议和传授经验。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 作者您好,我后来进一步在检测上进行调整,当yolo检测速度提升后,SLAM视觉里程计的tracking的帧率确实有明显提高。但是定位的漂移还是很大(手持),稍微晃一点位姿就开始乱飞了,我尝试在配置文件中把imu关了进行测试,虽然定位精度不一定准确但是不怎么存在漂移,所以感觉还是IMU的问题,目前分析有几种原因:1)D435i给的imu数据不够准确。2)imu标定有问题。因此想再问问作者,你们在真机测试的IMU数据是来自D435i还是无人机上的;如果是imu标定不够精准真的会造成这么大的漂移吗?或者其他的我不知道的原因,我在VINS使用方面可能经验还是太少了,感谢。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

好的,感谢。

@kukulinxin
Copy link
Author

有可能外参不对,你可以自行在 rviz 显示出各个坐标系,看一下对不对 真机使用的飞控 imu 数据 再进一步可以自行尝试调节一下 imu parameters,找到合适的参数

---Original--- From: @.> Sent at: 2023年12月22日(Fri) PM5:21 To: @.>; Cc: @.@.>; Subject: Re: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue #47) 帧率低可以通过降低特征点数量来提高,目前定位方法只用了 cpu 。当然现在也有很多基于 gpu 的特征提取方法,应该能够大幅提速。 帧率也有可能受限于 yolo 部分,因为需要对检测结果进行同步,你可以看一下哪部分是瓶颈,来针对性做优化 2. Imu 精度不够可以尝试增大 imu 相关的不确定度项。这个也和使用场景有关,如果手持的话,震动没那么大一般好点 … ---Original--- From: @.> Sent at: 2023年12月19日(Tue) Noon1:23 To: @.>; Cc: @.>; Subject: [HITSZ-NRSL/Dynamic-VINS] NVIDIA Jeston Xavier NX 上部署的一些问题 (Issue #47) 作者您好,我尝试了在NVIDIA Jeston Xavier NX上部署Dynamic-VINS,相机使用的是Intel RealSense D435i,但目前发现的是图像的帧率比较低,其次是只要IMU很容易漂移。针对图像的帧率比较低的问题,我想问的是作者您有使用GPU加速吗,还是说原文中无人机使用的NVIDIA Jetson AGX Xavier 的CPU能力足够强没有这个问题。针对漂移问题,我使用的是D435i自带的IMU,会不会是因为D435i的IMU精度不够,又或是其他什么原因?希望作者能给予一定建议和传授经验。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 作者您好,我后来进一步在检测上进行调整,当yolo检测速度提升后,SLAM视觉里程计的tracking的帧率确实有明显提高。但是定位的漂移还是很大(手持),稍微晃一点位姿就开始乱飞了,我尝试在配置文件中把imu关了进行测试,虽然定位精度不一定准确但是不怎么存在漂移,所以感觉还是IMU的问题,目前分析有几种原因:1)D435i给的imu数据不够准确。2)imu标定有问题。因此想再问问作者,你们在真机测试的IMU数据是来自D435i还是无人机上的;如果是imu标定不够精准真的会造成这么大的漂移吗?或者其他的我不知道的原因,我在VINS使用方面可能经验还是太少了,感谢。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

想再问问作者您,是否有使用unsynchronization parameters,我记得D435i已经同步了,但是也有人说有误差。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants