帮助文档
专业提供香港服务器、香港云服务器、香港高防服务器租用、香港云主机、台湾服务器、美国服务器、美国云服务器vps租用、韩国高防服务器租用、新加坡服务器、日本服务器租用 一站式全球网络解决方案提供商!专业运营维护IDC数据中心,提供高质量的服务器托管,服务器机房租用,服务器机柜租用,IDC机房机柜租用等服务,稳定、安全、高性能的云端计算服务,实时满足您的多样性业务需求。 香港大带宽稳定可靠,高级工程师提供基于服务器硬件、操作系统、网络、应用环境、安全的免费技术支持。
服务器资讯 / 香港服务器租用 / 香港VPS租用 / 香港云服务器 / 美国服务器租用 / 台湾服务器租用 / 日本服务器租用 / 官方公告 / 帮助文档
Ubuntu16.04服务器安装LLaVA对应的CUDA
发布时间:2024-03-07 02:13:10   分类:帮助文档
Ubuntu16.04服务器安装LLaVA对应的CUDA




Ubuntu16.04服务器安装LLaVA对应的CUDA
在根据LLaVA项目说明配置好conda等环境后,安装相关依赖,在测试程序中输出torch.__version__查看相应的CUDA版本。
import torch
# 检查torch.__version__,也可以用于检查是否安装成功
print(torch.__version__)

得到的输出结果为2.0.1-cu117,说明对应版本是CUDA 11.7,检查本机CUDA版本(命令如下,得到结果为10.0)。
nvcc -V

检查后得到的结果是,应该是CUDA版本不够,考虑升级CUDA。
Cuda compilation tools, release 10.0, V10.0.130
torch version: 2.0.1+cu117

一、查找并安装对应版本的CUDA
CUDA(Compute Unified Device Architecture)是由 NVIDIA 推出的一种并行计算平台和编程模型,专门用于利用 NVIDIA GPU的并行计算能力。CUDA 允许开发人员使用通用编程语言(如 C、C++)来编写用于 GPU 加速的应用程序。以下是针对学校服务器的CUDA配置方法
检查系统支持的最高CUDA版本,如下图所示,最高支持12.0版本。 nvidia-smi
根据显卡在CUDA Toolkit Archive找到自己需要的CUDA,笔者选择CUDA Toolkit 11.7。根据自己的操作系统和安装类型获取下载命令后在终端输入,由于系统是Ubuntu 16.04但是满足项目要求的CUDA >= 11.6的版本只支持18.04以上的版本,选择最近的版本进行安装。 wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.runsudo sh cuda_12.0.0_525.60.13_linux.run
阅读协议,输入accept同意协议。 然后进入安装选项,这里选择去掉驱动器的选项,选择Install进行安装,如果之前有CUDA来更新的话就需要选择更新相应的CUDA(在下一个框中选择yes。(图片是12.0对应的版本,第二次写的时候忘记更新了) 安装完成的界面如下所示。 安装完成后,将把CUDA路径添加到当前用户的配置文件中。 vim /etc/profile
# 以下内容弄添加在profile文件末尾,添加环境变量
export PATH="/usr/local/cuda-11.7/bin:$PATH"
export PATH="/usr/local/cuda-11.7/lib64:$PATH"
使用nvcc -V检查CUDA版本。
二、安装和配置cuDNN
cuDNN(CUDA Deep Neural Network library)是由 NVIDIA 提供的一个用于深度学习加速的 GPU 加速库。cuDNN 主要用于深度神经网络(DNN)的训练和推理,提供了高性能的基本操作和优化,以加速深度学习任务。下载cuDNN需要用邮箱在NVIDIA官网注册一个账户。
完成注册后,在cuDNN Archive找到要下载的cuDNN版本,由于上述使用的CUDA版本是11.7,因此选择最新的v8.9.6, for CUDA 11.x。将对应安装包下载到服务器中(复制链接使用wget命令下载并解压,不确定可以使用,笔者是通过下载到自己的客户机然后直接复制到通过VSCode中Remote ssh连接的服务器)。
wget -P 安装路径 -c https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.6/local_installers/11.x/cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz


解压命令如下,先使用unxz解压(去掉后缀.xz),在然后解压.tar文件。
unxz cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz
tar -zxvf cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar

解压完成后进入解压文件夹,使用下列文件将cudnn相关文件复制到cuda文件夹下。
sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

执行完毕后验证安装是否成功。
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2


出现相关信息,说明安装成功。




香港云服务器租用推荐
服务器租用资讯
·广东云服务有限公司怎么样
·广东云服务器怎么样
·广东锐讯网络有限公司怎么样
·广东佛山的蜗牛怎么那么大
·广东单位电话主机号怎么填写
·管家婆 花生壳怎么用
·官网域名过期要怎么办
·官网邮箱一般怎么命名
·官网网站被篡改怎么办
服务器租用推荐
·美国服务器租用
·台湾服务器租用
·香港云服务器租用
·香港裸金属服务器
·香港高防服务器租用
·香港服务器租用特价