허접 클러스터 MPICH2 Test..

요새 컴퓨터를 사용해야 할 일이 많다보니 장시간 모의실험을 하다보면 결과를 빨리 얻기 위해 여러 가지로 머리를 굴리게 된다. 최근들어 PC가 많이 들어와서 작업하기 좋아지긴 했지만, 리모트 로긴으로 일을 벌려놓고 결과를 취합하는 것도 사실상 한계가 있어서 수십대의 컴퓨터에 일을 벌려놓고 작업하는 것은 보통 꼼꼼한 사람이 아니면 쉽게 할 수 있는 일이 아니다.

지난번엔 Dualcore Xeon에 Hyperthreading을 이용해서 총 8개의 process를 벌려놓고, 그 결과를 취합하여 단일 프로그램의 처리 시간을 줄여서 결과를 빨리 얻도록 작업했는데, 이 역시도 컴퓨터의 대수가 많다보니 결과 취합하는 일이 쉽지 않아서, 아예 큰 맘 먹고 30대의 PC에 MPICH2를 모두 설치해서 remote로 작업을 해봤다.

불행히도 30대의 PC 모두 내가 맘대로 작업하긴 곤란한 상태라 우선 27대에만 작업을 해봤는데, 담당자가 일부 PC의 hyperthreading option을 꺼둔 관계로, 일단 hyperthreading이 설정된 23대의 PC에 총 184개의 process를 벌려놓고 작업해봤다..

결과는 정말로 가공할 만한 그것이었다..

무엇보다도 내 자리에서 일을 벌려서 내 자리로 결과가 취합되어 떨어진다는 것! 실제 수행시간은 184배까진 아니라도 어느 정도 이에 근접한 결과가 나온다는 것! 어차피 결과를 취합하러 리모트로 이 PC 저 PC 돌아다니는 시간이면 사실 결과를 서너개 뽑고도 남기에 체감속도는 184배보다 훨씬 높은 300~500배 정도라고 볼 수 있다!!

이 30대 말고도 PC가 더 있긴 한데, 동일 기종이 아니라 처리속도에 차이가 있어 load balancing을 하기에 어려움이 있다. 어쨋거나 지금의 세팅으로도 과거 수퍼컴퓨터도 해내지 못할 일을 충분히 할 수 있는 컴퓨팅 파워다..