Low Rank Adaptation(LoRA)...
LoRA라는 용어에서 느껴지는 위압감(?) 때문에 처음엔 꽤 어려운 기술이 아닐까 생각했지만, 실제로는 그렇게까지 복잡하지 않다는 인상을 받았다. 요약하자면, 기존 모델의 파라미터는 그대로 둔 채, Q, K, V 행렬이나 기타 Linear...
LLM: summarizing long paragraphs...
llm이 요약을 하는 기능에 대해서 알아보았다. GPT 모델의 경우는 transformer가 미래의 token을 쳐다보지 않기 때문에 오직 prediction을 위해서 동작한다고 한다. 이 특징 때문에 요약을 하는 것에 별로 유리하지 않은데, 많은...
감정적 타격의 연속이다...
12월 3일, 평생 다시는 겪지 않을 거라 생각했던 일이 터졌고, 2월 말부터는 주식이 미친 듯이 추락하기 시작했다. 그 여파로 직업의 안정성도 크게 흔들리고, 오랫동안 나의 힘이 되어주었던 누군가와도 멀어졌다. 3월은...
기왕 이렇게 된 김에: Deepseek model...
DeepSeek이 나와서 주식이 떡락하던 날을 나는 기억한다. 정말로 무력하게 느껴진 것은 DeepSeek이 엄청난 장점이 있어서….블라블라….그래서 주식이 떡락했다 라는 말을 제대로 이해할 수 없었다는 거다. 왜!!??? 왜 좋은지 알 수 없었다…...
GPT model...
요즘 Transformer 모델을 일주일 정도 집중해서 들여다보고 있다. 개념이나 데이터의 흐름으로 먼저 이해해보려 하기보다는, 논문을 먼저 읽고 개념을 받아들이려 하는데, 내면의 저항이 꽤 심해서 적지 않은 노력이 들어간다. 아마 그...
CNN...
CNN은 사실상 현재 deep learning이 있게 큰 공헌을 한 요소라고 생각한다. CNN이 있었기에 computer vision에 엄청난 기여를 했고 그 기여가 인정되어 많은 사람들이 deep learning의 세계로 들어갔으니까 말이다. 내가 이해하는...
OpenMP vs pthread...
요약해서 얘기하면 OpenMP가 간단하고 세련된 모양을 하고 있고 pthread는 다소 primitive한 모양을 하고 있다. OpenMP는 간단하고 세련된 모양을 하고 있는 대신 pthread를 가지고 굴리는 것처럼 세밀한 컨트롤을 하긴 좋지 않다....
matplotlib이 제대로 동작하지 않는 경우...
먼저 내 컴퓨팅 환경을 요약하면: Ryzen9 7950x NVidia 5070 Ti … 이 환경에서 miniconda를 설치해서 pytorch를 쓰고 있다. matplotlib은 매우 흔히 사용하는 라이브러리인데, 신기하게 이것도 제대로 동작하지 않기에 확인해보니 libopenmp에서...
Linux: browser를 띄우면 Xorg가 crashing하는 경우...
먼저 내 컴퓨팅 환경을 요약하면: Ryzen9 7950x NVidia 5070 Ti … 이 환경에서 arch linux를 설치하고 xfce4를 설치해서 간단하게 사용하고 있는데, 신기하게 web browser를 설치할 때마다 X가 죽어버리는 일이 생겨서...
FM3 잘 가라...
박스에 쓰여진 구입일자를 보니 2023년 7월로 찍혀있는 내 앰프 시뮬레이터 FM3을 처분했다. 나름 비싼 가격에 올렸는데 ebay에서 덜컥 팔렸다. 사실 올려두고 그냥 몇 달이고 놔둘 생각으로 그런 건데. 기타도 안치고...