GPU 사용 1일째...

NVIDIA 5070 TI를 사용 중이다. m4 mac mini에서 ollama를 돌려보면 대략 성능 차이가 6-8배 정도 나는 걸로 나온다. 다른 ML model을 돌려보면 고성능 CPU대비 10배 이상, apple silicon을 써도 차이가 심하면 10배가 더 나기도 한다. 아직 training은 안해봤는데 분명히 더 크게 벌어질 것 같다.

본래 계획은 M4 Max mac studio ($1,999) 한 대를 구입해서 이걸 메인 머신으로 쓸 생각이었는데, 이렇게 해봐야 GPU 개수가 2배 정도밖에 불어나지 않기 때문에 잘해야 2배 속도가 더 날 뿐이라 CUDA로 갔다.

대충 mac studio에 들어갈 돈이면 요즘 같은 시절에 5090이나 4090은 살 수 없지만 살짝 욕심내서 5070TI를 3개 정도 구입해서 붙여볼 수는 있다.

이쯤해서 apple silicon이라든가 다른 플랫폼에서 하면 더 좋아지겠지 따위의 생각은 접고 본래 목적에 맞춰서 실험에 들어가야 할 듯 하다. 조금 더 기다렸다가 회사에서 준 노트북을 m4 pro로 올려보고 지금 상태에서 만족해야 할 것 같다.

LLM 같은 걸로 부하를 높이면 소비전력이 300W 정도로 올라라기도 하고 이 때 FAN 소음이 크게 발생하기도 한다. 그래서 책상 구석에 몰아넣고 이런 저런 것들로 꽁꽁 막아놓았지만 소음이 올라오는 것을 막을 길은 없었다.

2-3개월 개념 공부 끝나면 처분해야겠다.