Chandra OCR — Mac Studio M1 Max 64GB에서 실행하기 (CUDA vs Metal MPS 비교)
4B 파라미터 Vision-Language OCR 모델 Chandra를 Mac Studio M1 Max 64GB에서 실행하는 방법과 CUDA 환경과의 성능 비교를 정리합니다.
Chandra OCR란?
Datalab이 개발한 Chandra OCR은 이미지와 PDF를 HTML, Markdown, JSON으로 변환하는 고성능 문서 인식 모델입니다. 4B 파라미터 Vision-Language 모델(Qwen3VL 아키텍처) 기반으로, olmOCR 벤치마크에서 85.9% 성능을 달성했습니다.
주요 특징
- 표, 수식, 손글씨, 체크박스 등 복잡한 레이아웃 처리
- 90개 이상 언어 지원 (비라틴 문자 포함)
- 전체 페이지 단위 처리 (청크 분할 없음)
- HuggingFace 로컬 추론 또는 vLLM 서버 방식 지원
CUDA vs Mac Studio M1 Max 성능 비교
| 환경 | 페이지당 처리 시간 | 비고 |
|---|---|---|
| NVIDIA H100 | ~0.7초 | 서버급 GPU, 96 시퀀스 병렬 |
| NVIDIA RTX 3060 | ~2~3초 | 일반 데스크탑 GPU |
| Mac Studio M1 Max (Metal MPS) | ~5~10초 | 본 테스트 환경 |
| CPU only (M1) | ~15~25초 | GPU 미사용시 |
CUDA 전용인 Flash Attention을 사용하면 NVIDIA GPU에서 30~50% 추가 성능 향상이 가능하지만, Mac에서는 지원되지 않습니다.
내 Mac Studio 사양
- 모델: Apple Mac Studio (2022)
- 칩: Apple M1 Max
- CPU: 10코어 (8 Performance + 2 Efficiency)
- GPU: 24코어 (Metal 4 지원)
- 통합 메모리: 64GB
메모리 여유도
| 항목 | 사용량 |
|---|---|
| Chandra 4B 모델 (fp16) | ~8GB |
| 추론 중 KV 캐시 + 활성화 메모리 | ~4~6GB |
| 총 예상 사용량 | 12~16GB |
| 여유 메모리 | 48~52GB |
64GB 통합 메모리 덕분에 200페이지 이상의 대용량 PDF도 메모리 부족 없이 처리 가능합니다.
Mac Studio에서 설치하기
# 1. Python 3.11 가상환경 생성
python3.11 -m venv chandra-env
source chandra-env/bin/activate
# 2. PyTorch (Metal MPS 자동 포함)
pip install torch torchvision
# 3. Chandra OCR 설치
pip install chandra-ocr[hf]
# 4. Metal GPU 가속 확인
python3 -c "import torch; print(torch.backends.mps.is_available())"
# → True 출력되면 GPU 가속 활성화
# 5. 실행
chandra input.pdf ./output --method hf
결론
Chandra OCR은 CUDA 없이 Mac Studio에서도 완전히 실행 가능합니다. M1 Max 24코어 GPU와 64GB 통합 메모리 조합은 소~중량 문서 처리에 충분히 실용적인 성능을 제공합니다. NVIDIA GPU 대비 속도는 2~5배 느리지만, 메모리 여유와 안정성 면에서는 오히려 유리합니다.
개인 문서 처리, 연구, 개발 용도라면 별도 서버 없이 Mac Studio 하나로 충분히 활용할 수 있습니다.
