Ubuntu搭建Pytorch环境（Anaconda、Cuda、cuDNN、Pytorch、Python、Pycharm、Jupyter）

Ubuntu搭建Pytorch环境（Anaconda、Cuda、cuDNN、Pytorch、Python、Pycharm、Jupyter）

• 一、配置镜像源，安装必要环境
• 二、Anaconda的下载、安装、卸载及环境配置
• • 1.下载Anaconda
  • 2.安装Anaconda
  • 3.Anaconda的环境配置
  • 4.赋予普通用户/超级用户使用Anaconda的权限
  • 5.卸载Anaconda
  • 三、显卡驱动、Cuda、cuDNN的安装（GPU版选装）
  • • 1.安装显卡硬件对应的驱动
    • 2.下载对应显卡驱动版本的cuda
    • 3.cuda的安装
    • 4.cuda的环境变量配置
    • 5.cuda的卸载
    • 6.以tar方式下载、安装、卸载cudnn
    • 7.以deb方式下载、安装、卸载cudnn
    • 四、创建Anaconda虚拟环境
    • • 1.Anaconda常用命令：查看，创建，删除环境
      • 2.创建ai空间，用于搭建pytorch深度学习框架
      • 五、搭建Pytorch环境
      • 六、安装相关依赖库的方法
      • • 1.利用官网命令安装所需依赖库
        • 2.conda和pip的镜像加速配置
        • 3.安装常用深度学习依赖库
        • 4.安装依赖库时的常见问题
        • 七、Python环境说明和Pycharm、Jupyter工具安装

          一、配置镜像源，安装必要环境

          1.查看Ubuntu版本号：cat /etc/issue，后续根据版本号添加对应的镜像源

          2.备份镜像源：sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

          3.在阿里云镜像源官网中找到并复制与版本号对应的阿里镜像源：

          或者在清华镜像源官网中找到并复制与版本号对应的清华镜像源：

          4.编辑软件源配置文件：sudo vi /etc/apt/sources.list，将文件中内容替换为阿里镜像源或清华镜像源

          5.刷新软件源：sudo apt-get update

          6.安装用于编译和构建软件的工具库：sudo apt-get install build-essential

          二、Anaconda的下载、安装、卸载及环境配置

          1.下载Anaconda

          进入Anaconda官网，下载linux版的anaconda（.sh结尾的文件）

          2.安装Anaconda

          1.将文件拷贝到Ubuntu中，在相应位置输入命令sh 文件名.sh进行安装（推荐在root用户下安装）

          2.一直按ENTER键，直到出现让选择yes和no的页面，键盘输入yes

          3.选择安装位置，输入想要安装的位置（注意：这里安装anaconda时最好安装在普通用户可以访问的目录下，例如/usr/local、/opt、/home，否则普通用户可能无法正常使用）

          如果只需要在root账户下使用anaconda，直接按ENTER键选择默认位置就行。我这里安装到了默认路径/root/anaconda3下

          4.初始化conda环境：键盘输入yes会自动配置环境；键盘输入no，后续要自定义配置环境。

          3.Anaconda的环境配置

          1.找到Anaconda的安装位置，默认安装会有提示，一般都是home/用户名/anaconda3，我本次安装到了/root/anaconda3下

          2.输入vi ~/.bashrc编辑环境变量，添加以下内容：

          export PATH="/自己对应的路径名/anaconda3/bin:$PATH"

          这里写自己对应的路径名，我的是export PATH=“/root/anaconda3/bin:$PATH”

          3.激活修改的内容：source ~/.bashrc

          4.测试是否配置成功：输入conda，若没有显示not fond 则表示 anaconda安装配置成功

          4.赋予普通用户/超级用户使用Anaconda的权限

          无论是在root用户还是普通用户下进行安装的，安装anaconda时最好安装在普通用户可以访问的目录下，例如/usr/local、/opt、/home，否则普通用户是无法使用anaconda的。

          （1）在root用户下安装的anaconda，想要赋予普通用户使用anaconda的权限

          比如安装位置为/opt/anaconda3，直接在普通用户下执行：/opt/anaconda3/bin/conda init bash，然后执行conda env list测试

          （2）在普通用户下安装的anaconda，想要赋予超级用户（root）使用anaconda的权限

          比如安装位置为/home/xxx/anaconda3，直接在root用户下运行：/home/xxx/anaconda3/bin/conda init bash，然后执行conda env list测试

          5.卸载Anaconda

          如果安装anaconda时不小心安装到了在普通用户访问不到的目录下，例如/root、/home/root，可以卸载anaconda重新进行安装。

          （1）删除安装目录：rm -rf /root/anaconda3

          （2）编辑环境变量文件vi ~/.bashrc，注释或删除anaconda3的路径

          （3）使修改后的环境变量立即生效：source ~/.bashrc

          三、显卡驱动、Cuda、cuDNN的安装（GPU版选装）

          主机有显卡的可以安装Cuda用GPU加速模型训练

          1.安装显卡硬件对应的驱动

          可以参考Ubuntu物理机显卡驱动安装的几种方式安装显卡驱动

          输入nvidia-smi，查看自己所需要的cuda版本号，我的是12.1

          2.下载对应显卡驱动版本的cuda

          打开nvidia官网，点击对应版本链接进入下载界面（我的是12.1，选择12.1的任一版本都可以）

          将上面生成的命令拷贝下来，先执行第一行命令下载cuda：

          wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

          3.cuda的安装

          下载完成后执行chmod 777 【下载的sh文件】赋予执行权限，然后执行第二行命令安装cuda：

          sudo sh cuda_12.1.0_530.30.02_linux.run

          （1）遇到如下界面，选择continue继续

          （2）遇到如下界面，输入accept

          （3）遇到如下界面，按Enter键取消勾选驱动（显卡驱动已经安装过了），点击install安装其他组件

          安装完成后显示如下路径

          同时系统会在安装目录下自动生成一个/cuda的链接指向/cuda-版本号

          4.cuda的环境变量配置

          4.1 输入sudo vi ~/.bashrc命令修改环境变量

          根据自己anaconda3的路径名，在文件末尾加入以下四行：

          export PATH="/anaconda3的路径名/anaconda3/bin:$PATH"export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64export CUDA_HOME=/usr/local/cuda/binexport PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME

          4.2 输入source ~/.bashrc命令激活刚刚修改的内容

          4.3 依次输入以下命令，测试cuda是否安装成功

          nvcc -Vcd /usr/local/cuda/extras/demo_suite/./bandwidthTest

          出现Result = PASS即为成功

          5.cuda的卸载

          5.1 进入到cuda的安装目录，找到有关unintall的文件，执行卸载命令：sudo /usr/local/cuda-12.1/bin/cuda-uninstaller

          5.2 勾选要卸载的cuda版本所有组件

          5.3 卸载成功后，删除相关文件

          5.4 删除相关环境变量

          输入sudo vi ~/.bashrc将最下面和cuda有关的删除，执行source ~/.bashrc重新激活环境变量配置即可

          6.以tar方式下载、安装、卸载cudnn

          （1）下载对应cuda版本的cuDNN

          打开nvidia官网，点击对应版本链接进入下载界面（我的cuda版本是12.1，选择12.x的任一版本的cuDNN都可以，推荐使用tar包的方式），下载需要注册登陆英伟达账户（自行百度）

          （2）将下载好的文件拷贝到Ubuntu系统中，并执行以下解压缩命令：

          unxz cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xztar -vxf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar

          （3）cuDNN的安装

          进入解压后的目录中，打开终端，输入下述命令：

          sudo cp include/cudnn*.h /usr/local/cuda/include/sudo cp lib/libcudnn* /usr/local/cuda/lib64sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

          （4）执行完毕后，输入以下命令验证cuDNN是否安装成功：

          cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

          提示信息是指：在这个文件中不能使用 ​constexpr​ 关键字，因为这个文件是仅限于C语言的。

          （5）cuDNN的卸载

          通过tar包安装的cudnn，通过以下命令将拷贝到cuda安装目录的有关cudnn的文件删除即可：

          sudo rm -rf /usr/local/cuda/include/cudnn.hsudo rm -rf /usr/local/cuda/lib64/libcudnn*

          7.以deb方式下载、安装、卸载cudnn

          （1）先切换到/usr/local目录下，然后创建一个目录CuDNN

          cd /usr/localmkdir CuDNNcd CuDNN

          （2）前往https://developer.nvidia.com/rdp/cudnn-archive下载所需文件

          （3）将下载文件拷贝到/usr/local/CuDNN/目录下

          运行以下命令安装CUDNN7.4.2,这里安装顺序一定要如下所示：

          sudo dpkg -i libcudnn7_7.4.2.24-1+cuda10.0_amd64.debsudo dpkg -i libcudnn7-dev_7.4.2.24-1+cuda10.0_amd64.deb sudo dpkg -i libcudnn7-doc_7.4.2.24-1+cuda10.0_amd64.deb

          （4）把文件复制到/usr/local/cuda/include文件夹下面,并修改权限：

          sudo cp /usr/include/cudnn.h /usr/local/cuda/include sudo chmod a+x /usr/local/cuda/include/cudnn.h

          （5）检测是否安装成功的测试命令：

          cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

          （6）卸载以deb方式安装的cudnn

          #查询已安装的cudnnsudo dpkg -l | grep cudnn#删除拷贝的文件rm -rf /usr/local/cuda/include/cudnn.h#卸载安装的cudnn，注意卸载和安装顺序相反sudo dpkg -r libcudnn7-docsudo dpkg -r libcudnn7-devsudo dpkg -r libcudnn7#再次查询已安装的cudnn，没有任何输出即卸载成功。sudo dpkg -l | grep cudnn

          四、创建Anaconda虚拟环境

          1.Anaconda常用命令：查看，创建，删除环境

          (1) 查看anaconda的安装版本：conda --version

          (2) 查看已经安装的环境（带星号的表示目前正在使用的环境）：conda env list

          (3) 激活对应的虚拟环境（进入环境）：source activate envone(环境名)

          (4) 激活默认的虚拟环境（base环境）：source activate

          (5) 退出当前conda环境：conda deactivate

          (6) 删除conda环境：conda uninstall -n envone(环境名) --all

          (7) 在环境里安装需要的包：pip install xxx

          (8) 查看已经安装的包：pip list

          (9) 克隆已有环境：conda create --name python32（新名字） --clone python321（老名字）

          (10) 删除conda环境：conda remove -n envone(环境名) --all

          2.创建ai空间，用于搭建pytorch深度学习框架

          使用anaconda安装环境后，本地默认环境成为base环境。

          (1) 创建名为ai的空间：conda create -n ai

          (2) 进入ai空间（虚拟环境）：conda activate ai

          五、搭建Pytorch环境

          1.通过命令进入创建好的ai空间source activate ai

          2.进入pytorch官网下载对应版本的pytorch

          • 选择pytorch版本
          • 选择对应的操作系统
          • 选择使用什么安装，conda里可以使用pip安装的
          • 选择编程语言为python
          • 选择cuda版本：我的版本是12.1，pytorch官网上目前只给出了11.8的Cuda支持，但是社区明确表明了兼容高版本Cuda。

            3.在ai空间中执行上面生成的命令

            pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

            WARNING: Running pip as the ‘root’ user can result in broken

            permissions and conflicting behaviour with the system package manager.

            It is recommended to use a virtual environment instead:

            https://pip.pypa.io/warnings/venv WARNING: There was an error checking

            the latest version of pip.

            六、安装相关依赖库的方法

            1.利用官网命令安装所需依赖库

            （1）进入anaconda官网搜索需要安装的库名（无需注册登录）

            （2）选择所需要的版本

            （3）复制官网上的安装命令

            （4）执行source activate ai进入ai虚拟环境中，执行上面复制的安装命令conda install -c pytorch-lts pytorch

            （5）登入python执行import torch验证是否成功

            2.conda和pip的镜像加速配置

            将conda源和pip源修改为国内源，提高下载安装速度

            2.1 修改conda源

            修改~/.condarc文件：sudo vi ~/.condarc ，修改文件内容如下：

            channels:  - defaultsshow_channel_urls: truechannel_alias: https://mirrors.tuna.tsinghua.edu.cn/anacondadefault_channels:  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2custom_channels:  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

            若清华的conda源不能使用，可以改用上交的源：

            channels:- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/- defaultsshow_channel_urls: true

            2.2 修改pip源

            参考：linux和window设置 pip 镜像源 、最实用的环境下载加速设置 ——【一文读懂】

            输入conda deactivate关闭虚拟环境，回到终端界面

            更新pip工具：pip install --upgrade pip

            配置pip源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

            3.安装常用深度学习依赖库

            执行以下conda 命令，自动搜索下载安装好相关依赖库的适用版本及相关依赖。

            (1)安装opencv库(该库用于图像处理)命令：conda install opencv

            (2)安装torchvision库(该库用于下载训练先进的预训练模型)命令：conda install torchvision

            (3)安装torch库(该库用于深度学习任务中构建、训练和部署神经网络模型)命令：conda install torch

            (4)安装cv2库(该库提供了许多计算机视觉和图像处理方面的函数和工具):conda install -c necla-ml opencv-python

            (5)安装tensorboardx库(该库提供了可视化和分析神经网络训练过程和结果的工具)：conda install -c conda-forge tensorboardx

            4.安装依赖库时的常见问题

            问题一：安装依赖库时显示"PackagesNotFoundError"报错

            如果在使用 Conda 或类似包管理器时遇到 “PackagesNotFoundError” 错误，可能说明所需的包或软件包版本不在当前配置的软件源通道中。可以参考https://blog.csdn.net/weixin_45552562/article/details/109668589解决该问题。运行以下命令来更新软件源信息：conda update --all

            重新执行conda install torch，若还是报错可以根据报错提示，参考6.1去官网查找对应命令进行安装。

            七、Python环境说明和Pycharm、Jupyter工具安装

            1.Python环境说明可以参考Ubuntu下系统python与anaconda下python

            2.Pycharm工具安装可以参考Ubuntu 16.04 安装 PyCharm

            （1）在PyCharm官网下载安装包（社区版免费）

            （2）运行tar -zxvf pycharm-community-2022.3.2.tar.gz命令将安装包解压

            （3）进入软件的bin目录，运行命令 sh ./pycharm.sh打开Pycharm

            （4）普通用户权限问题

            如果报错信息是有关普通用户权限的问题，可以尝试更改相关文件的所有者

            sudo chown ownername:groupname /path/to/directory

            在上述命令中，“ownername” 是指定的新所有者的用户名，“groupname” 是指定的新所属组的组名，而 “/path/to/directory” 是你要修改的目录的路径。

            3.Anaconda自带Jupyter工具，用以下命令打开即可：jupyter notebook，可以参考jupyter使用教程