Local LLM과 cursor...

private net에 있는 LLM을 강제로 인식시킬 방법이 없어서 ngrok을 쓰거나 아니면 portforwarding을 하든가 해야하는데, 사실상 배보다 배꼽이 큰 지경이므로 관두는 게 낫다 싶다. 5070TI/4090을 써봤지만 비교적 작은 모델 (14B)이라도 더러 반응이 느려서 30B 이상으로 가면서 GB10이 달린 머신을 구해서 쓰는 솔루션에도 다소 의구심이 생긴다.

어쨌든 이런 저런 툴을 구경하면서 느낀 것은 ‘도구는 도구니까…’, ‘네가 다 해야할 필요가 있냐?…’ 라는 말로 ai 툴에 종속되는 것을 당연하게 받아들이고 이미 나온 툴을 잘 쓰는 것이 ‘유능하게 되는 길’로 포장되고 있는 시절인데, 누군가가 특정 조건에 특화한 툴에 의존하기 보다 잠시의 조급함을 치우고 어떻게 하면 주어진 환경에서 LLM으로 효과적인 자동화를 할 수 있을까를 고민해보는 게 더 낫단 생각을 해봤다.

어차피 이렇게 계속 시간이 가다보면 가장 강력하고 효과가 좋고 사용자층이 두꺼운 툴이 결국엔 승리하겠지만. 그것은 그들의 경쟁이고. 내가 흔한 소프트웨어에 의존하지 않고 필요에 따라 내가 필요한 도구를 만들어쓰려면 이런 습관을 들이는 게 방법 아닐까 싶다.

그러니까 자주 수동으로 하던 일들을 하나 둘씩 자동화 하다보면 그렇게 되지 않을까 싶은데, 사실 좀 기존의 체계와 많은 간격이 있긴 하다.