LLM 과 추론 학습등에 필요한 장비 선택 (쓰레드 리퍼)

LLM 모델 큰것을 사용하면 정확도가 높아진다고 한다.
뻘소리 하지 않고 좀 더 정확한 대답을 한다는 것이겠다.
그럴려면 GPU 메모리가 커야 한단다. 그래서 24기가 메모리가 장착된 Nvidia 3090이나 4090등이 품귀라고 한다.
전문 gpu 보다 상대적으로 저렴하기 때문이다.

그런데 맥장비 M 시리즈는 통합메모리를 사용하는데 그게 이쪽에서 잇점이 있었다.
예를 들어 M1 max 맥미니가 32기가라고 가정하면 대략 28기가 정도 까지도 LLM 모델을 구동시킬수 있다는 것이다.
이래서 갑자기 맥장비에 대한 수요가 엄청 올라갔다.
가격은 Nvidia GPU보다 훨씬 저렴하지만 큰 LLM 모델들을 올릴수 있기 때문이란다.

그래서 난 64기가 맥장비를 구하려고 했다.
대충 230만원 정도면 M1 Max 맥북이나 맥스튜디오 64기가를 중고로 가지고 올수 있을듯 했다.
그렇게 자금을 모아볼까 했는데 나중에 알고 보니 맥에서 LLM을 구동하면 텍스트는 잘 되지만 이미지나 영상은 전혀 활용을 하지 못한다고 한다.
그것은 오로지 Nvidia GPU에서만 가능하다고 한다.

그래서 다시 급하게 Nvidia 3090 24G로 방형을 돌렸다.
근데 이게 작년인가 제작년보다 중고가가 올라갔다고 한다.
왜 그런가 했더니 3090까지는 nVlink 를 사용할수 있는데 4090부터는 그것을 제거해버렸다고 한다.
이게 뭐냐면 GPU 2개를 한개같이 사용가능하게 하는 케이블이라고 한다. 개당 10만원 정도한다고 한다.
그렇게 듀얼을 구성하면 24+24=48G 짜리 LLM 모델을 구동이 가능하다고 한다.
그래서 갑자기 3090의 중고가가 120만원선으로 유지되고 있다고 한다.

어찌 어찌 FE 모델로 3090을 구하고 이젠 컴퓨터 본체를 구해야 한다.
기준은 간단하다.
1. 나중에 듀얼 GPU 구성이 되어야 한다.
2. CPU 코어수가 많으면 좋겠다.
3. 램도 128기가 정도 또는 나중에 그 이상 꼽을수 있게 메인보드에서 지원하거나 뱅크가 있어야 한다.
4. 너무 화려하지 않는 케이스
5. 파워도 기본 1000와트.

이렇게 해서 컴퓨존에서 대충 견적을 뽑아보니 본체가격만 GPU 제외하고 거의 100만원이 나온다. ㅠㅠ

중고 본체를 알아본다.

그러던중 듀얼GPU를 제대로 사용하려면 라이젠이나 인텔 칩셋중 겁나 비싸것들을 사용해야 제대로 사용할수 있다고 하는데
그런 메인보드를 알아보니 이건 가격이 천정부지로 올라간다.
그러다 설마 하고 쓰레드리퍼를 검색해보니 ….이게 아예 그냥 듀얼GPU를 떠나서 4개의 GPU까지도 지원이 가능하더라.

급히 중고를 알아보니 70여만원에 아래 본체를 구했다.

메인보드 Asrock X399 Taichi ATX
오디오 7.1채널 DR MOS 11페이즈
M.2 3 ea U.2 1 ea
DIMM slot 8 ea
파워 EVGA 1000W
메모리 48G 케이스
리안리(Lian Li)
그래픽 EVGA GTX 1080
CPU쿨러 Arctic freezer 4U-M

하나 하나 구성품을 알아보니 꽤나 좋더라.
기본으로 있는 1080 GPU는 다시 중고로 팔면 대략 15만원 정도 절약되겠더라.

여기에 자금 되는대로 3090을 한두개 더 꼽으면 꽤 괜찮은 AI 본체가 되겠다.

이제 기다리는건 배송뿐!!