요즘 대세라고 하는 3가지 LLM 에 대해서 살펴밨다.개인이 뭔가 이제 자신만의 지식저장고를 만들수도 있을것 같다는 생각이 든다. ChatGPT vs DeepSeek vs Grok-3 비교 분석 현재 AI 모델 시장에서 ChatGPT(OpenAI), DeepSeek, **Grok-3(X/Tesla)**는 주목받는 대형 언어 모델(LLM)입니다. 이 모델들은 각기 다른 철학과 기술적 접근을 가지고 있으며, 성능, 데이터 처리 방식, 활용 분야 등에서 차이가 있습니다. 1. 개요 및 개발사 […]
DeepSeek: M1 Mac과 RTX 3080에서 효율적으로 운영하는 방법 DeepSeek은 AI 기반 데이터 분석 및 검색 플랫폼으로, 고성능 하드웨어를 통해 더 빠르고 정확한 작업이 가능합니다. 이 글에서는 Apple M1 칩과 NVIDIA RTX 3080 GPU를 활용해 DeepSeek을 실행하는 방법을 안내합니다. 1. DeepSeek이란? DeepSeek은 머신러닝과 자연어 처리를 결합하여 대규모 데이터 검색과 분석을 수행하는 AI 플랫폼입니다. 딥러닝 모델을 활용하기 […]
The article discusses creating an M1 Mac cluster using Thunderbolt for high-speed networking, enabling distributed learning. It outlines hardware requirements, network configuration, software setup for DeepSeek, and optimization techniques. While M1 lacks GPU acceleration, effective CPU-based management with tools like OpenMPI or Ray can facilitate efficient model training.
To create a cluster using multiple Mac Minis for executing models like DeepSeek, you can follow these steps: 1. Hardware Setup: • Use multiple M1 Mac Minis with at least 16GB of unified memory. • Connect the Mac Minis using Thunderbolt cables or via a high-speed Ethernet switch to ensure low-latency communication between nodes. 2. […]
RTX 3090 시스템은 M1 Mac mini 6대와 비교해 CPU, GPU, RAM 성능에서 압도적으로 우수하다. GPU 가속이 가능한 RTX 3090은 최소 2배 이상의 성능 차이를 보이며, 대형 모델 실행에 유리하다. 따라서 DeepSeek 같은 딥러닝 모델을 위해 RTX 3090 시스템 구매를 추천한다.
AMD Ryzen 9 5950X + RTX 3090 (24GB) + RAM 128GB에서 DeepSeek-V3 실행 가능 여부 ✅ AMD Ryzen 9 5950X + RTX 3090 (24GB) + 128GB RAM 환경에서는 DeepSeek-V3의 양자화 버전 실행이 가능합니다. ✅ 다만, llama.cpp를 최적화하여 빌드하고, 적절한 양자화 모델을 선택해야 최상의 성능을 얻을 수 있습니다. 1. 시스템 구성 및 실행 가능성 사용할 하드웨어: • CPU: AMD Ryzen […]
M1 Mac 여러 대를 썬더볼트 케이블을 이용해 클러스터로 구성하고 딥시크(DeepSeek)를 구동하는 방법을 설명해 줄게. 1. 썬더볼트를 이용한 M1 Mac 클러스터 개념 M1 Mac은 일반적인 x86 서버와 달리 본격적인 클러스터링 기능을 제공하지 않지만, 썬더볼트 3/4 포트를 활용한 고속 네트워킹이 가능해 MPI(Multi-Processing Interface) 기반의 분산 학습을 수행할 수 있어. 썬더볼트를 이용한 클러스터 연결 방식: • Thunderbolt-to-Ethernet 브릿지: […]
