데이터 압축 방법을 정리해보자...

대충 아래와 같이 정리가 된다. 관심없는 포멧이 너무 많이 붙었으니 중요한 것들만 잘라서 다시 보도록 하자.

일단 내가 요즘 사용하는 것들만 다시 정리해봤다. 사실 zip이 가장 흔하고 워낙 오래된 역사를 자랑하고 있다고 볼 수 있지 싶은데, 최근들어는 점점 bzip2와 xz를 쓰는 편인데 사실 옛날에는 너무 느려서 생각도 안해보던 것들이다. 그래도 multithread를 하면 bzip2는 제법 빠르기 때문에 쓸만하고 zlib 같은 것은 알게 모르게 이런 저런 앱에 붙어있어서 꽤나 자주 쓰는 편이다. 표에서 딱 볼 수 있는 것과 같이 압축/복원 속도가 가장 빠르면서 압축율도 좋은 것은 LZ4가 되겠다. 실제로 사용해보면 굉장히 빠르고 압축률도 별로 나쁘지 않다. 사실 그림이나 동영상 같은 것들은 원래 압축이 되어있어서 거의 효과가 없고 반대로 텍스트 문서라든가 압축이 안되어있는 사용자 데이터 따위가 크게 압축이 되는 편인데, 이런 면에 있어서는 사실 압축 방법들에 의한 차이가 대부분 속도와의 trade off이다. 그러니까 파일 전체를 다 뒤져서 발생빈도를 계산하고 거기에 맞춰서 압축후의 정보량을 결정하는 식 (=허프만코드)인 거라 크고 많은 데이터를 처리해야 한다면 다 뒤지는 것은 어렵고 윈도우로 이동해가면서 하거나 아니면 분할해놓고 하거나 해야한다. 혹은 데이터를 압축하기 좋은 형태로 변환을 한다거나. 그런데 이런 과정들이 붙으면 붙을 수록 특정 경우에는 압축이 잘 될지 몰라도 어떤 경우엔 별로 듣질 않고 하다보니 실질적인 효용에 있어서 차이가 날 수 밖에 없다.

하드웨어에서도 압축을 하는 것이 유리한 것이 일단 압축해놓고 데이터를 주고 받으면 버스 점유율이라든가 메모리 사용량이 현저히 줄기 때문에 그렇다. 특히나 버스나 임시 메모리에 들어가는 데이터들은 빠른 시간 처리를 요하는 것들이라 사실 압축을 하게 되면 효율이 굉장히 높을 것들이기 때문에 그러한데, 마찬가지로 빠른 시간 처리를 요하기 때문에 압축 속도가 굉장히 빨라야 한다. OS를 생각하자면 메모리 압박이 심할 때 비활성화된 앱들을 빠르게 압축해서 disk swapping하는 식으로 시스템 안정성을 도모하기도 한다고 들었다.