AI
LLM 과 추론 학습등에 필요한 장비 선택 (쓰레드 리퍼)
LLM 모델 큰것을 사용하면 정확도가 높아진다고 한다. 뻘소리 하지 않고 좀 더 정확한 대답을 한다는 것이겠다. 그럴려면 GPU 메모리가 커야 한단다. 그래서 24기가 메모리가 장착된 Nvidia 3090이나 4090등이 품귀라고 한다. 전문 gpu 보다 상대적으로 저렴하기 때문이다. 그런데 맥장비 M 시리즈는 통합메모리를 사용하는데 그게 이쪽에서 잇점이 있었다. 예를 들어 M1 max