Deep learning

Written by Keith
on 

딥러닝이 맹위를 떨치기 시작한게 본격적으로는 2013년 정도이고 이세돌 알파고 바둑 싸움이 2016년에 일어난 뒤에 강렬한 붐이 일었지 싶은데, 2017년에도 그 인기는 시들지 않아서 AI 관련 엔지니어의 수요와 창업 회사수는 엄청난 상황이다. 그들에게 막대한 보수를 주는 이유는 여러 가지 포석이 있긴 하겠지만 시장이 열린지 얼마 안되었기 때문에 어떤 분야든 빨리 선점해서 안정된 수익을 얻어내기 위함이라고 볼 수 있을 것이다.

따라서, 기존에 자리잡은 분야, 혹은 자리잡은지 너무 오래되고 인력 공급이 포화를 넘어서서 분야의 발전속도나 자동화 혹은 외부세계로의 아웃소싱까지 잘 이루어지고 있는 업계에서는 경쟁도 점점 심해지고 패이컷도 계속해서 일어나며 더 심한 것은 일자리까지 없어지고 있다는 사실이다. 제 4차 산업혁명 때문에 일자리가 없어진다기 보단 기술 발전 및 작업 공정의 발전으로 인해서 사람이 많이 필요하지 않게 된 것이다. 또 유능한 이들을 싼 값에 부릴 수 있기 때문에 여러 명을 고용할 필요가 없어지는 이유도 있다.

즉, 예전 같으면 비싼 값에 여러 명을 부려도 결과가 빨리 나오지 않던 것이 지금은 더 젊고 더 기민한 사람을 싼 값에 데려와서 여러 명 분의 일을 시킬 수 있게 되었다는 것이다. 따라서 나이가 들고 특정분야에 너무 몰입되어있고 또 고립되어있는 기술을 가지고 있는 경우에는 자본주의 세계에서 어쩔 수 없이 받아들여야 하는 여러 가지 불리한 조건을 거의 다 지니게 되는 것이다. 많은 유지비가 들고 다른 분야로 전환시키기가 어려워지고 또 전환시키더라도 많은 시간이 들거나 실패하게 되기 때문이다.

딥러닝의 역사를 대충 살펴보면 크게 보면 1960년대에 인공지능의 1차 붐, 다시 1980년대에 2차 붐이 일어났다. 그 이후 2012년 경부터 3차 붐이 일어났다고 볼 수 있다.

아마도 80년 초중반에 컴퓨터/전자공학을 전공했던 이들은 이 인공지능과 관련된 전공을 가진 사람들이 많다. 그 사람들이 90년대에 학교에 들어와서 가르치게 되는 이유로 90년대에 학교를 다닌 사람들도 울며겨자먹기로 제 2차 인공지능 붐의 끝물을 탔다고 봐야할 것 같다. 90년대는 통신 분야가 큰 붐울 맞게 되면서 그게 2000년대까지 흘러오게 되는데 그 뒤를 다시 인공지능이 이어가는 형태가 되는 것 같다.

아쉽게도 90년대 중반을 지나면서 인공지능 붐은 빠르게 꺼져서 80년대/90년대 초까지 열심히 인공지능을 하던 사람들은 다 업계를 떠났다. 학계에 있던 사람들도 다들 카멜레온처럼 타 분야로 전환하기에 이르렀는데, 대부분 그 사람들이 통신 분야에 들어왔다. 그랬다가 2012년 이후로 인공지능의 붐이 일기 시작하면서 본격적으로 앞다투어 다시 인공지능 분야로 돌아오기에 이르렀는데, 문제는 이게 학계만 그런 것이 아니라 산업계도 그런 현상을 보이게 되었다는 것이다.

산업계가 돈에 워낙 민감하다보니 돈이 몰리는 쪽으로 트랜드의 중심이 이동하게 되는데, 사실 그 저항도 꽤 만만치않았다. 두번이나 인공지능 붐이 일었다가 꺼지는 것을 보고 세번째 붐도 잠시 달아올랐다가 사그라드는 게 아닐까 했는데, 2012년 이후의 여파를 지금도 받고 있는 상황이니까 생각보다 오래 간다 싶어 뒤늦게 전향하는 교수나 연구원들을 많이 보고 있다. 어느 세계나 흐름의 변화는 최대한 빨리 올라타는 게 상책이다라는 사실을 또 한번 깨닫게 된다.

두번째 붐때에는 인식률이 대부분 고만고만했기 때문에 특별히 어떤 기술이 좋다라는 결론을 못 내고 끝난 것으로 보여진다. 다양한 신호처리 기술이 인공지능을 위해서 쓰였고 음성이나 화상처리도 마찬가지로 그 덕택에 발전했는데, 사실 그것이 2천년도에 다가가면 갈수록 인공지능은 쏙 빠져나가버렸다. 사실상 80년대 후반에 이르면서 통신 분야가 급부상하게 되면서 잡기술 잡학문으로 되어버렸다고 봐야 맞다. 당시에도 인식률을 높인 방법들에 대해서 열심히 연구했지만 대부분 feature engineering이라고 해서 특징을 잘 뽑아내는 노가다 위주의 연구였고 그러한 한계를 가지고 있는 기술이 오래갈리가 없다.

2006년에 들어서 인공지능 기술의 하나인 신경망 기술이 큰 발전을 이루게 되는데, 사실 이것은 multi-layer perceptron을 어떻게 훈련시키느냐, 또 각 layer에 이것들을 어떻게 적용시키느냐에 대한 일종의 수식 정리 및 확인을 하는 정도의 논문이라고 봐야 할 것이다. 그러나 그런 고찰이 전혀없었고 사실상 이 바닥은 다 죽었다 생각하는 상황에서 획기적인 연구결과였다고 볼 수 있는데, 분위기가 그러하니 사실 거의 눈에 띄지 않았다. 2012년에 들어서 화상 인식을 하는 컨테스트에서 이 기술을 적용한 화상 인식 팀이 엄청난 결과로 우승하게 되면서 이들의 연구가 빛을 보게 된 셈이다. 물론 2006년과 2012년 사이에도 몇 가지 큰 진보가 있었다. 이를테면 그때까지 sigmoid라는 비선형 함수를 써왔는데 자꾸 학습을 시키다보면 포화되는 성질때문에 학습효과가 안좋았던 문제를 rectified linear units (이름하난 잘 붙인다)라고 diode에 R을 붙여났을 때의 전류 특성(?)을 나타내는 비선형 함수를 쓰게 되었다는 것이나, 학습 중에 쓸모 없을 것 같은 연결이나 node와의 연결을 끊어버리는 개념이라든가.

예전 같으면 인공지능 기술이란게 사람이 인식해야 하는 대상의 특징을 어떻게 잘 뽑아내서 인식률을 최대로 끌어올리느냐가 문제였고, 사실 그러한 문제 때문에 인공지능이라기 보단 엔지니어링에 가까운 일이었는데, 이 기술은 아무것도 묻거나 따지지 않고 다층 신경망에 디립다 데이터를 넣어서 가르쳐 놓으면 신경망이 알아서 feature를 뽑아내어 인식을 할 수 있게 하는 기술이었기 때문에 기존 기술과의 큰 차별성을 갖게 된다. 또 이것은 구글처럼 방대한 인터넷 데이터를 가지고 있는 회사가, 또 방대한 전산자원을 가지고 있는 회사가 직접적으로 활용할 수 있는 상황이 되었기 때문에 그 파급력이 엄청나진 것이다.

어쨌든 자율차다 뭐다 인공지능에 대한 기대심리가 엄청난데, 내가 아는 한에서는 인공지능의 발전이 뚜렷한 분야는 그동안 사실 좀 지지부진했던 화상인식 분야에서 인식률이 급격히 좋아진 것 말고는 잘 모르겠다. 물론 이러한 발전도 그 파급력이 엄청난 것이니까 고무적으로 봐야하겠지만. 이 외의 분야에서도 인간을 능가하는 엄청난 능력이 생겨버린 것처럼 생각할 필요는 없지 싶다. 바둑에서 세계 최강자들을 꺾은 일은 솔직히 신경망의 힘이라고 봐야할지 기계 자체의 빠른 시뮬레이션 능력 때문이라고 봐야할지 나는 잘 모르겠다. 바둑의 수는 어찌보면 화상 데이터에 비하면 훨씬 단순한 데이터를 처리하는 것이고 기계가 해야 할 것은 나올 수 있는 다양한 수를 넣어서 결과를 시뮬레이션 하는 작업이니까 주어진 시간에 얼마나 많은 수를 넣고 시뮬레이션 해보느냐의 문제가 아닐까 한다. 물론 현재까지의 패턴을 보고 그 시뮬레이션 회수를 줄이는데 딥러닝을 활용하는 것은 의미가 있다. 그렇다고 단순히 그것만으로 인간을 능가하는 능력을 전방위로 갖추게 될 것이란 생각은 아니라고 본다.