AI 칩이 과연 돈이 되겠는가? 하는 질문에 대한 내 생각...

지금 앞서가는 회사들은 수많은 모델을 가져다 테스트하고 훈련시키고 해야 하는 일이 많으니 당연히 이 과정에서의 빠르기가 월등한, 그리고 그동안의 사용자층이 두터운 NVIDIA의 칩을 선호할 수 밖에 없다고 본다. 이게 일반으로 보급되면 대부분, 아니 거의 전부에 가까운 비율로 inferencing을 하는 IP로 자리잡을 것이다. 그러니까 SoC의 일부분이 되어서 팔려나가는 것이다.

AI가 새로운 수요를 창출했다기보단 SoC 업체에 있어서는 IP 포트폴리오를 늘려서 가져갈 수 있게 되었을 뿐이지 (AI/ML 수요가 있을 것이니까) 새로운 마켓을 창출했다? 라고 보긴 뭐하지 않나 싶다. 그것은 어디까지나 지금 엄청난 수혜를 보고 있는 NVIDIA에나 통하는 말일 거라고 본다.

자체적으로 AI 모델을 개발해야 하는 입장에서는 이외의 다른 솔루션이 없고 또 이런 시설을 가지고 사용료를 받고 (시설이 없는 타 회사들을 위해) 서비스를 해야 하는 입장에서도 다른 솔루션이 없으니까 돈을 벌 수 밖에 없다. 나머지는 모두 추론이나 하는 엔진을 저렴하게 만들어내야 하는 일에만 주력해야 하는데, 사실 따지고 보면 여긴 경쟁이 그렇게 치열하다고 보긴 뭐하다. SoC에 들어가는 수 많은 IP들 중에 하나로 추론 엔진이 끼어드는 거고 잘해야 IP와 적당한 드라이버 정도 만들어주면 된다. 그러면 각자 알아서들 쓸테니까.

ethernet IP라든가 USB IP (serdes) 같다고는 못해도 고성능 DSP core가 박힌 거라고 보면 될 것 같다. 모델마다 연결방법도 다르고 개개의 layer의 행렬연산의 크기도 다 다르기 때문에 수행해야 하는 일을 하드웨어 설계에 최적으로 맞춰야 하니 scheduler같은 것들이 필요하다. 역시나 이것도 소프트웨어 작업이고 보면 하드웨어는 그냥 행렬연산을 수행하는 곱셈기/덧셈기의 조합 여기에 적재적소에 데이터를 로딩해야 하는 로직들로 가득하게 된 IP일 뿐이다. DSP에 비하면 명령어 셋은 작지만 단순 연산 + 로딩 기능이 엄청 빡세진.

이 기능이 있는 것과 없는 것이 어떤 차이를 불러올지는 나도 잘 모르겠다. 추론 기능은 자체적으로 이미지나 영상을 인식하거나 또는 LLM 기능을 쓸 때만 필요한 것이니까. 어차피 인식 엔진의 크기가 커지면 (그러니까 요구하는 서비스의 품질이 높을 수록) 로컬로 돌릴 확률은 낮아질테니까 경우에 따라 있으나 마나한 수준일 수도 있고 어떤 경우에는 매우 요긴할 수도 있을 것이다. 그런데 SoC 제조 업체라면 기본으로 내장 시켜놓고 가격을 더 받는 것을 원할테니 있으나 없으나 상관없는 계륵으로 전락할 수 있지 싶다. 그래도 부가가치를 만들어 냈으니 의미는 있다고 본다.

그러니까 매년 칩을 업데이트 할 때 기능 추가가 되는 항목으로는 그래도 의미있는 항목이 되는 셈이니까.