부정적인 미래의 예측...
좌뇌는 과거와 미래를 넘나들며 끊임없이 계산하고 예측하는 일을 맡고 있다고 한다. 감정보다는 언어와 논리에 의존하고, 그것을 통해 분석하고 판단하고 평가한다. 누군가의 말처럼, 우리가 감정적으로 힘들어지는 이유 중 하나는 바로 이...
LLM: summarizing long paragraphs...
llm이 요약을 하는 기능에 대해서 알아보았다. GPT 모델의 경우는 transformer가 미래의 token을 쳐다보지 않기 때문에 오직 prediction을 위해서 동작한다고 한다. 이 특징 때문에 요약을 하는 것에 별로 유리하지 않은데, 많은...
감정적 타격의 연속이다...
2월 3일, 평생 다시는 겪지 않을 거라 생각했던 일이 터졌고, 2월 말부터는 주식이 미친 듯이 추락하기 시작했다. 그 여파로 직업의 안정성도 크게 흔들리고, 오랫동안 나의 힘이 되어주었던 누군가와도 멀어졌다. 3월은...
GPT model...
Transformer model을 1주 가량 들여다보고 있다. 개념이나 데이터의 흐름을 가지고 이해하기 보단 받아들이는데 꽤나 공이 들어가고 있다. 그 이유는 아무래도 그동안 새로운 것을 거의 공부하지 않았고 거의 내가 알고 있는...
CNN...
CNN은 사실상 현재 deep learning이 있게 큰 공헌을 한 요소라고 생각한다. CNN이 있었기에 computer vision에 엄청난 기여를 했고 그 기여가 인정되어 많은 사람들이 deep learning의 세계로 들어갔으니까 말이다. 내가 이해하는...
OpenMP vs pthread...
요약해서 얘기하면 OpenMP가 간단하고 세련된 모양을 하고 있고 pthread는 다소 primitive한 모양을 하고 있다. OpenMP는 간단하고 세련된 모양을 하고 있는 대신 pthread를 가지고 굴리는 것처럼 세밀한 컨트롤을 하긴 좋지 않다....
matplotlib이 제대로 동작하지 않는 경우...
먼저 내 컴퓨팅 환경을 요약하면: Ryzen9 7950x NVidia 5070 Ti … 이 환경에서 miniconda를 설치해서 pytorch를 쓰고 있다. matplotlib은 매우 흔히 사용하는 라이브러리인데, 신기하게 이것도 제대로 동작하지 않기에 확인해보니 libopenmp에서...
Linux: browser를 띄우면 Xorg가 crashing하는 경우...
먼저 내 컴퓨팅 환경을 요약하면: Ryzen9 7950x NVidia 5070 Ti … 이 환경에서 arch linux를 설치하고 xfce4를 설치해서 간단하게 사용하고 있는데, 신기하게 web browser를 설치할 때마다 X가 죽어버리는 일이 생겨서...
FM3 잘 가라...
박스에 쓰여진 구입일자를 보니 2023년 7월로 찍혀있는 내 앰프 시뮬레이터 FM3을 처분했다. 나름 비싼 가격에 올렸는데 ebay에서 덜컥 팔렸다. 사실 올려두고 그냥 몇 달이고 놔둘 생각으로 그런 건데. 기타도 안치고...
GPU 사용 1일째...
NVIDIA 5070 TI를 사용 중이다. m4 mac mini에서 ollama를 돌려보면 대략 성능 차이가 6-8배 정도 나는 걸로 나온다. 다른 ML model을 돌려보면 고성능 CPU대비 10배 이상, apple silicon을 써도 차이가...