화재의 deepseek 모델 - 로컬에 설치하기
설 연휴기간 동안, 전 세계를 뜨겁게 달구었던 deepseek 모델이 오픈소스로 공개되었습니다.
그래서 직접 ollama를 통해서 deepseek를 제 PC에 설치해봤습니다. 이 과정을 통해서 오픈소스로 공개된 LLM모델을 로컬PC에 설치해서 사용하는 방법도 쉽고 빠르게 익히실 수 있을 거에요. 아마, deepseek를 써보고 싶은데 보안에 대한 걱정 때문에 어려운 경우에는 로컬피씨에 설치해서 사용하면 안전하게 사용할 수 있습니다.
오픈소스로 공개된 LLM을 설치하고 사용하기 위해서는 ollama라는 오픈소스 도구를 활용합니다. 올라마를 활용하면, 집에서도 정말 간단하게 LLM을 설치하고 쓸 수 있다는 점에서 엄청나게 세상이 많이 편해지고 바뀌고 있다는 생각이 드네요.
아래의 순서를 따라가면 엄청 편하게, deepseek를 내 pc에 설치할 수 있습니다.
- 우선 여기를 눌러서 올라마 사이트에 접속합니다.
- 올라마에서 Download버튼을 눌러서 올라마를 내 pc에 설치합니다.
- 그 다음으로 헤더 상단에 Model 버튼을 누르고 deepseek R1모델을 선택합니다. 딥시크 외에도 많은 모델을 선택할 수 있으니, 관심있으시면 다른 모델도 설치해보세요.
- 그 다음으로 설치하고 싶은 버전을 선택합니다. 버전별로 용량도 다르고, 내 PC의 GPU와 메모리 성능에 따라서 구동 가능한 모델들이 있습니다. 저는 Test를 위해서 1.5b와 7b 모델을 선택해봤는데, 일단 1.5b 모델은 성능이 많이 낮다고 생각하시면 됩니다.
- 윈도우나 맥북의 터미널 창을 엽니다. 윈도우에서는 시작에서 cmd를 입력한 후 명령프롬프트로 이동합니다.
- 아까 올라마 설치 화면에서 노란색으로 표시된 부분을 누르면 설치 명령어가 복사됩니다. 복사한 명령어를 명령 프롬프트에 입력해주면 올라마가 LLM모델을 로컬PC에 설치합니다.
// - 설치가 완료되면 터미널에서 아래와 같이 프롬프트를 입력할 수 있습니다.
//
이 모델을 다시 쓰고 싶을 때는 cmd에 와서 이전에 설치했던 실행 명령어를 똑같이 입력하면 다시 사용할 수 있습니다.
- 실행: ollama run deepseek-r1:7b
- 그리고 삭제하고 싶다면 "rm" 명령어를 통해서 모델을 삭제할 수 있습니다. ollama rm deepseek-r1:7b
물론 로컬pc에 설치한 모델이라고 해서 cmd나 터미널에서만 구동되는 것은 아닙니다. Web UI에서 작동할 수 있도록 하는 "Open WebUI"를 설치하면 우리가 익숙한 chatGPT와 같은 인터페이스에서 로컬에 설치된 LLM을 사용할 수 있습니다.
이걸 사용하기 위해서는 위 페이지에 안내된 대로 Docker를 설치한 다음에 사용해야 하는데, 방법이 어렵지 않으니 체험 이상으로 사용해보고 싶으신 분이 있다면, 한 번 설치해서 사용해보시기를 추천합니다.
오픈소스와 AI가 결합되면, 내 입맛에 맛게 자유자재로 LLM 모델을 개인이 수정하고 사용하는 날이 머지 않았다는 생각이 드네요.
세상이 정말 빠르게 변하는 것 같습니다.