NVIDIA显卡BUG解决 Unable to determine the device handle for GPU 0000:02:00.0: Unknown Error




报错
实验室去年到今年断了几次电，然后服务器上的2080Ti一直就感觉有点小毛病。属于是被折磨了几个月了。 然后前两周断电后，显卡就基本上完全用不了了，经常服务器开机都会失败。并且就算服务器开机成功过后，没有几分钟显卡就会自己关掉
刚刚开机一切都很正常 但是没过几分钟显卡就会突然用不了了：
nvidia-smi
Unable to determine the device handle for GPU 0000:02:00.0: Unknown Error

然后查看是不是有显卡
lspci| grep -i nvidia
02:00.0 VGA compatible controller: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti] (rev ff)

很奇怪啊，显卡是在的，但是rev ff就是显卡关闭了。 重启多次过后一直都是这样。
可能的原因
在网上疯狂找，觉得可能存在以下问题
电源问题也可能是非持久模式导致的频繁初始化，利用命令sudo nvidia-smi -pm 1即可解决。注意这条命令重启后会失效，所以最好写进/etc/rc.local里面，以自动执行。驱动问题GPU过热，风扇，机箱散热问题还有一个，如链接。但是我看不懂是怎么回事。
我的问题
我是服务器的电源线在前几次的断电中出现了问题，所以会出现开机的问题，并且显卡毕竟是大功率电器，而且好像有保护机制，电源有问题就自己断电了。 最后换了一根电源线就解决问题了。
如何排查问题的
电源问题
这个太麻烦，而且一般不好解决也不好发现，所以先不管
非持久模式导致的频繁初始化
这个方案执行最简单，所以第一个试一下。 然后，使用了sudo nvidia-smi -pm 1没有用，写到/etc/rc.local里面，也没有用。
驱动问题
退diver版本，更新版本，都没有用 更新cuda也没有用。 个人感觉这个报错一般不会是驱动的问题
GPU过热，风扇，机箱散热问题
开机运行就几分钟，感觉也不太像过热的问题。但是还是抬了个风扇到机房对着吹，最后发现确实不是这个问题。
最后解决
最后实在是受不了了，想着把显卡卸下来。然后先是把服务器抬到实验室，给老板表演一下显卡自己掉线，结果等了半天一点问题都没有，非常平稳。 然后灰溜溜地把服务器弄回去，结果插电源的时候，pa地一下电源的位置闪了一下火花。突然才想到电源的问题还没有排查。。。 然后随便换了个根电源线，现在一两天了，都没有出问题。。。