특정 사이트 접속 금지

node.js의 http client로 몇 번 접속해서 데이터를 읽어왔더니 갑자기 접속이 불가하게 되었다. 다시 접속하라면 capcha를 입력하라는 화면이 뜬다.

bot 수준의 능력밖에 없는 node.js의 http client가 capcha를 제대로 입력할 방법은 없으니 감수해야하는 상황인 것 같은데, 최근 3-4일간은 별 문제가 없었던 것으로 보아서는 아마도 user-agent를 확인한 것이 아닌가 한다. 사람들이 많이 사용하는, 사람이 직접 조정하는 browser로 보여지는 user-agent가 아닌 경우가 몇번 발생하면 bot을 만들려고 한 게 아닌가 의심을 받은 것 같다.

이런 프로그래밍 언어에서 웹에 접속한다든가 메일을 보내려 한다든가 할 때 생각보다 제약이 많이 생겨났다. 이미 우려먹을 만큼 다 우려먹은 다음이니까 이렇게 된 것이지 싶은데, 악용하려고 한다기 보단 좋은 방법으로 응용하려는데 그나마 좀 쉽지 않게 되었다. 해당 사이트들도 광고로 돈을 벌어야되니 그런 일이 벌어지는 것으로 본다.

요새 대개의 사이트들은 광고 배너로 걸어놓은 것이 실제로 access 되고 있는지 확인해서 만일 access가 되지 않으면 ad block을 설치한 것으로 간주하고 화면을 가려버리는 일도 흔히 하는 일이다. 그만큼 온라인 광고가 돈이 되고 사이트 운영자 입장에선 중요한 문제가 되었다고 할 수 있을 것 같은데, 정보의 소비자 입장에선 사이트 운영자에게 이득을 주어야 할 필요가 있으니 광고를 읽은 것으로 하되 화면에 보여지지 않게끔 하는 것도 방법이지 싶은데, 대개는 전부 차단하는 것을 목적으로 하고 있어서 all or nothing이 되는 것 아닐까 한다.

다시 말해서 ad block을 쓴다고 차단을 먹든가 아니면 광고 없이 구경할 수 있거나 하는 거다. 어쨌든 정보 게시자, 사이트 운영자에게 어느 이익도 발생시켜주지 못한다는 결과는 같다.