arch linux와 NVIDIA gpu...
arch linux를 잘못 업데하다가 드라이버가 죄다 꼬여서 부팅도 안되는 상태에 이르렀다. 어쩔 수 없이 OS까지 재설치 해야한다. OS 재설치에 이은 드라이버 재설치 CUDA를 쓰려면, 그것도 최신 GPU로 CUDA를 arch linux에서...
어깨 쑤실 때...
대개 어깨가 쑤신다 어깨가 굳었다 하면 승모근이 딱딱해져서 통증이 오는 경우다. 대개 스트레스를 많이 받을 때 뒷목과 승모근 모두 긴장하다보니 뭉치게 되는 게 아닐까 한다. 나란 사람을 요새 관찰해보니 HSP로...
Low Rank Adaptation(LoRA)...
LoRA라는 용어에서 느껴지는 위압감(?) 때문에 처음엔 꽤 어려운 기술이 아닐까 생각했지만, 실제로는 그렇게까지 복잡하지 않다는 인상을 받았다. 요약하자면, 기존 모델의 파라미터는 그대로 둔 채, Q, K, V 행렬이나 기타 Linear...
LLM: summarizing long paragraphs...
llm이 요약을 하는 기능에 대해서 알아보았다. GPT 모델의 경우는 transformer가 미래의 token을 쳐다보지 않기 때문에 오직 prediction을 위해서 동작한다고 한다. 이 특징 때문에 요약을 하는 것에 별로 유리하지 않은데, 많은...
감정적 타격의 연속이다...
12월 3일, 평생 다시는 겪지 않을 거라 생각했던 일이 터졌고, 2월 말부터는 주식이 미친 듯이 추락하기 시작했다. 그 여파로 직업의 안정성도 크게 흔들리고, 오랫동안 나의 힘이 되어주었던 누군가와도 멀어졌다. 3월은...
기왕 이렇게 된 김에: Deepseek model...
DeepSeek이 나와서 주식이 떡락하던 날을 나는 기억한다. 정말로 무력하게 느껴진 것은 DeepSeek이 엄청난 장점이 있어서….블라블라….그래서 주식이 떡락했다 라는 말을 제대로 이해할 수 없었다는 거다. 왜!!??? 왜 좋은지 알 수 없었다…...
GPT model...
요즘 Transformer 모델을 일주일 정도 집중해서 들여다보고 있다. 개념이나 데이터의 흐름으로 먼저 이해해보려 하기보다는, 논문을 먼저 읽고 개념을 받아들이려 하는데, 내면의 저항이 꽤 심해서 적지 않은 노력이 들어간다. 아마 그...
CNN...
CNN은 사실상 현재 deep learning이 있게 큰 공헌을 한 요소라고 생각한다. CNN이 있었기에 computer vision에 엄청난 기여를 했고 그 기여가 인정되어 많은 사람들이 deep learning의 세계로 들어갔으니까 말이다. 내가 이해하는...
OpenMP vs pthread...
요약해서 얘기하면 OpenMP가 간단하고 세련된 모양을 하고 있고 pthread는 다소 primitive한 모양을 하고 있다. OpenMP는 간단하고 세련된 모양을 하고 있는 대신 pthread를 가지고 굴리는 것처럼 세밀한 컨트롤을 하긴 좋지 않다....
matplotlib이 제대로 동작하지 않는 경우...
먼저 내 컴퓨팅 환경을 요약하면: Ryzen9 7950x NVidia 5070 Ti … 이 환경에서 miniconda를 설치해서 pytorch를 쓰고 있다. matplotlib은 매우 흔히 사용하는 라이브러리인데, 신기하게 이것도 제대로 동작하지 않기에 확인해보니 libopenmp에서...