CUDA 설치하기

Stable diffusion 과 같은 생성 AI 프로그램을 사용할 때, Nvidia 그래픽 카드의 경우 cuda 프로세서들이 열일하여 이미지를 생성합니다.

 

cuda 프로세스는 일종의 그래픽 카드의 cpu 프로세서 같은 개념으로 생각하시면 편합니다.

cpu가 덩치가 크고 소수의 프로세서를 가지고 있다면, 그래픽 카드의 경우 덩치는 작지만 많은 수의 cuda 프로세서를 가지고 일을 하는 개념이죠.

 

Nvidia 사에서는 생성 AI와 관련하여 이를 잘 활용할 수 있도록,  cuda 관련 소프트웨어를 제공합니다.

 

cuda의 경우, 현재 설치된 드라이버 및 GPU에 맞는 버전을 찾아서 사용자가 잘 설치해줘야 한다는 점에서 약간 어려울 수 있으니, 잘 따라와 주세요.

 

아래 사이트에서 자세한 호환성 버전을 알 수 있습니다.

 

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versions__table-cuda-toolkit-driver-versions

https://docs.nvidia.com/deploy/cuda-compatibility/

 

gpu 드라이버별 cuda 호환성 버전

 

보통 나의 드라이버에 맞는 버전을 찾아서 설치하는게 번거롭고 힘들다면, 시스템에서 드라이버가 추천하는 버전을 설치해도 됩니다.

 

이전에 언급했던, 설치된 드라이버 버전을 확인하는 명령어를 입력합니다.

nvidia-smi

 

nvidia-smi를 실행한 결과 화면

 

화면 우측 상단의 빨간 박스로 표시한 부분을 잘 봐 주세요.

해당 부분에는 CUDA version이 뜨는데, 

여기에 뜨는 버전은 현재 설치되어 있는 버전이 아니라, 그래픽 드라이버에 맞는 추천하는 CUDA version이 출력되는 부분입니다.

 

현재 예시에서는 GPU 드라이버를 470 버전을 사용하고 있고, 여기서는 CUDA 11.4 버전을 추천하므로 해당 버전을 설치하면 된다고 볼 수 있습니다.

 

 

반응형

 

1. 설치할 cuda 버전 다운로드

 

설치하고자 하는 cuda 버전을 확인했으면, nvidia 공식 사이트에서 cuda toolkit을 클릭하여 원하는 버전을 설치 진행합니다.

(아래 링크를 클릭하시면 cuda 버전별 설치 사이트로 이동할 수 있습니다.)

 

https://developer.nvidia.com/cuda-toolkit-archive

CUDA Toolkit Archive

 

나열된 버전 중에서 해당하는 버전(예시에서는 11.4 버전)을 클릭합니다.

(각자 본인 그래픽 카드 드라이버에 맞는 버전으로 선택해 주세요!)

 

본인 컴퓨터의 그래픽 카드 드라이버에 맞는 버전명을 클릭

 

 

클릭하면, 세부적인 조건을 선택하는 메뉴가 나옵니다.

현재 사용하고 있는 os환경에 맞게 선택을 합니다.

우분투 22.04 를 사용하고 있는 경우, 아래와 같이 선택하면 됩니다.

 

* operating system: Linux architecture: x86_64
* distribution: Ubuntu
* version: 20.04(22.04 가 없는 경우 해당 선택. 22.04가 있는 경우 이를 선택하면 됩니다.)
* installer type: runfile(local)
   - 설치 방식은 편한 방식을 선택해서 진행하면 됩니다. (여기서는 runfile(local) 방식을 선택)

 

세부 조건을 선택하는 화면

 

선택을 마치면 화면 하단에 다음과 같은 명령어들이 나옵니다.

 

터미널 창을 켜고, 출력된 명령어를 복사해서 실행하면 cuda가 설치가 진행됩니다.

출력된 터미널 명령어의 예시

 

cuda 설치를 완료하셨다면, 정상적으로 작동하는지 확인하기 위해 버전 확인을 해봐야 합니다.

터미널 창에서 다음의 명령어로 cuda 버전 확인이 가능합니다.

 

nvcc -V

 

만약에 위 명령어가 작동하지 않는다면, 아래와 같이 명령어를 작동시키기 위한 경로 설정 작업을 진행해야 합니다.

 

터미널 창에 아래의 명령어를 입력

# nvcc 명령어를 정상적으로 사용하기 위한 path 설정 작업 진행
sudo sh -c "echo 'export PATH=$PATH:/usr/local/cuda-11.4/bin'>> /etc/profile"
sudo sh -c "echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.4/lib64'>> /etc/profile"
sudo sh -c "echo 'export CUDARDIR=/usr/local/cuda-11.4'>> /etc/profile"
source /etc/profile

* 위의 예시는 cuda 11.4의 예시입니다. 다른 버전인 경우 cuda의 숫자 부분만(cuda-11.4) 그에 맞게 수정해 주세요.

(예를 들어 11.7 버전인 경우, cuda-11.4 부분을 cuda-11.7 로 수정)

 

만약에 기본 터미널(bash)이 아닌 zsh쉘을 사용하고 있는 경우, 아래의 설정도 추가해 줘야 합니다.

터미널 창의 기본 경로에서 zshrc 편집 모드에 진입합니다. (각자 편한 편집기를 사용하셔도 됩니다.)

vi .zshrc

 

아래의 예시는 cuda 11.4의 예시입니다. 다른 버전인 경우 마찬가지의 cuda의 숫자 부분만 그에 맞게 수정해 주세요.

# 다음 코드를 마지막 줄에 추가
export PATH=/usr/local/cuda-11.4/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH

 

편집한 내용을 저장한 후 나와서 다음 명령어로 현재 쉘에 바로 반영합니다.

source ~/.zshrc

 

 그러면, 이제 nvcc -V를 통해 버전 확인이 가능해 집니다.

 

nvcc -V 명령어를 통해 cuda 버전을 확인한 결과 예시: 11.4 버전이 출력됨