M4 Mac mini: 5개월째?...

나는 M4 Mac mini를 굉장히 선호한다.
기존에 사용하던 M1 Pro MacBook Pro도 여전히 활용하고 있지만, 성능 면에서는 M4 Mac mini가 더 쾌적하다.

LLM 관심 이후의 컴퓨팅 자원 고민

최근 LLM에 관심을 갖게 되면서, 더 높은 컴퓨팅 자원이 있으면 좋겠다는 생각이 들었다. 예를 들어:

• NVIDIA 5090 GPU를 구매할지 고민하거나,
• M4 Ultra 출시를 기다릴지,
• 혹은 M1 Max 정도로 타협할지를 생각하고 있다.

도달한 결론

1. 고성능 컴퓨팅 자원은 일상적인 업무나 생활에서 반드시 필요하지 않다.
2. 고성능 자원은 개인보다 여러 사용자가 공유하는 형태가 더 바람직하다.

메모리 사용의 현실

• 16GB 메모리는 가끔 한계에 다다를 수 있다.
• 다만 이는 대부분 다수의 애플리케이션을 동시에 실행한 경우에 해당한다.
• 한두 개의 작업만 수행한다면 메모리는 크게 문제가 되지 않는다.

로컬 LLM 운용에 대한 판단

• 학습 목적이 아니라면 소형 LLM은 로컬에서 충분히 구동 가능하며 반응 속도도 양호하다.
• 실제로는 ChatGPT나 Claude 같은 서비스를 사용하는 것이 더 편리하다.
• 10B 이상의 모델을 로컬에서 돌릴 경우 시스템 메모리를 과도하게 소모하여 실용성이 떨어진다.

성능 업그레이드 비용

• Mac의 성능과 메모리를 대략 단계별로 업그레이드 하면 약 $600 이상의 추가 비용이 발생한다.
• 명목상 성능은 향상되지만 일반적 업무에서는 체감 성능의 개선이 크지 않다.
• 풀로드 상황에서만 성능 차이가 뚜렷하게 나타난다.: 거의 발생하지 않는다.

CPU 기반 컴퓨팅 자원의 한계

• 현재 보유한 5950X / 7950X 기반 머신 12대로 구성된 그리드는 AI 작업에 큰 이점을 제공하지 않는다.
• 반면, 고성능 GPU 2~3개가 탑재된 단일 머신은 훨씬 높은 효율을 보일 수 있다.

결론

• GPU가 파워풀한 경우를 위해서 m4 max/m3 ultra 로 가는 것은 좀 아니다 싶다. 비싸고 성능이 좋다고 알려졌지만 고작 AI 취미를 하는 데도 CUDA GPU에 많이 밀린다.
• 필요에 따라 M4 mac mini를 필요에 따라서 한대 더 사거나 말거나 딱 그 뿐이다. 이것만으로도 일상 생활은 별 답답함 없이 전부 커버된다.