로컬 LLM 실험실

로컬 머신을 이용해 6시간 걸려서 절반정도 작업할 분량을 gpt-5-mini를 이용해 전체 분량을 30분만에 완성했다.

다들 로컬에 환상을 좀 깼으면 좋겠다.

로컬 기반으로 설계하고 작업도 많이 하지만 로컬은 정말 한계가 뚜렷하다. 작년 여름에 나온 저가형 모델한테조차 성능/시간에서 압도당함.

클로드건, 지피티건, 재미나이건 그 어떤 대형모델도 컨텍스트 토큰이 300K 언저리에 도달하면 컨텍스트 부패가 진행되는 듯 보인다.

1. Codex 는 세션압축이 덜하기에 컨텍스트 한계치에 도달하면 술취한 사람처럼 횡설수설 갈팡질팡한다.

2. 클로드는 이걸 해결하기 위해 공격적 컨텍스트 압축을 하다 어느 순간 자신의 세션 작업 내용을 잃어버린다.

3. 재미나이는 표시상으론 작업을 수행했으나 실제론 수행하지 않은 몽유병 증상을 보이는데 이는 재미나이가 앞선 두 모델보다 더 큰 컨텍스트창을 가지는데서 오는 듯 하다.

4. 재미있는건 세 모델 다 각자 정도가 심한 것이 있을 뿐 다른 증상이 없는 것은 아니라는 것이다.

5. 충분한 컨텍스트 공간(Vram)을 확보하지 못하는 로컬 모델들은 컨텍스트부패로 오는 문제가 더 빨리 나타난다. Qwen 3.5 27b는 200K 컨텍스트를 확보해 줘도 120~150K에서 몽유병 증상을 보인다.

결론 :

1. 플래그십 모델의 경우 컨텍스트가 약 250~300K가 되면 새 세션을 시작. 세션 증적/다음 세션 핸드오프 문서를 작성해달라 한 다음 다음 세션에서 이를 읽히고 시작하는걸 권한다.

2, 로컬 모델들의 경우 약 Vram의 가용량에 따라 다르나 120~150K 에서 다음 세션으로 넘어가는게 좋다.

방금 GPT가 워크플로우 작업을 계속 놓치고 자기마음대로 작업하던걸 속터져라 보다가 컨텍스트량을 보니 300K를 넘겨서 증적문서 작성에만 명령을 3번 집어넣고 간신이 세션 탈출한 후

답답해서 쓴 글입니다.

내 지피티/클로드/잼민이가 왜 이러지? 하는 분들에게 도움이 되었으면 좋겠네요.

터보퀀트 분석하던 저장소를 지웠다.

100G나 써가면서 돌렸지만, 내 한정된 컴퓨팅 자원으론 분석에 한계가 있었음. 그리고 중요한건 llama.cpp 나 vllm 같은 모델 서빙 엔진들이 아직 적극적인 지원에 한계가 있다고 생각했기 때문.

물론 내가 지식이 부족해서 다 못쓰는걸수도 있지만 다시 그냥 llama.cpp에 다른 사람들이 튜닝한 모델을 올리는 방향으로 갈듯.

하지만 절대 올라마로는 돌아가지 않음. 쓰더라도 lmstudio를 쓰지. 허깅페이스에 올라온 모델들을 올라마가 연결해주는데까지 3일이나 기다릴 수 없다.

로컬 llm의 무한굴레

• 3090~5090 Vram 많은 기기들 부러워함
• AMD 365 max+ 128G Cuda 아님 스트레스 + Apple 부러워함
• Apple 기기 너무 느린 코어, 큰 메모리는 계륵일 뿐 + 3090~5090 보유자를 부러워함

로컬 llm 자체가 한계가 많다는걸 깨닫는 능지가 있으면 쓰질 않습니다 ㅋ

Gemma4 31B 결과물은 떨어지는데 토큰 생성속도가 qwen 3.5 27b 의 80% 수준인거 보고 일단 접음.

업무영역에선 한동안 관망하거나 gemini 가 그나마 잘하는 디자인 영역에 투입해 보거나 할듯.

Gemma4 빨면 안써본 분탕임. 하긴 qwen 3.5 27b 도 써본 분탕이 얼마나 되겠냐만.

Qwen 3.5 27b 도 Q4 에서 토큰 생성이 아무리 갈궈도 35t/s를 넘지 못함. Q8 (그나마 품질이 bf16에 근접하는) 을 올리려 듀얼 그래픽카드를 쓰면 pci 대역폭 문제로 24~5 t/s까지 내려옴.

근데 gemma4 q4가 15~20t/s 면 음…

그냥 작업영역에서 못쓰세요.

3090도 이런데 m3? M4? :)

오늘 하루종일 작업했던것들이 전부 성과를 못내니 좀 피곤하네요.

메인플젝 : 데이터베이스 설계에서 도돌이표 중 구글 터보퀀트 : 잼마4에선 못씀. (이게 제일웃김)

그나마 에이전트 작업환경이 개선됬다면 개선됫달까요. 아무것도 바뀐거 없는데 Gemma 포모에 나팔부는 SNS에 좀 지치네요.

gemma4-31b-q4-192k 를 3090X2 에 올려놓고 점검.

사용해보면 상대적으로 ‘생각의 사슬’ 은 Qwen 3.5 27b 에 비해 작음. 추론 시간이 짧음. 그리고 토큰 생산속도는 좀 느린 편.

추론 결과물은 코딩 결과물은 좀 부족한 대신, 대화나 사고 이런 건 비슷한 수준.

결과 : 음. 과연 어디에 써야할까? https://t.co/VtsHsoS3lh

중요한건 최소퀄리티인 Q4_K_M 조차 24G Vram 에 유의미한 컨텍스트로 올릴 수 없다.

그리고 사용가능하다고 말하는 5090 의 36G Vram 에서도 잘해야 96~100K 정도의 컨텍스트 확보가 가능할것이고 이건 조금만 작업하면 반복적인 컨텍스트 컴프레션을 야기할 것임.

즉 48~60G Vram 이 필요하다.

FOMO 선생님들은 무슨 로컬에 혁명이 온 것처럼 나팔을 불고 계시는데 내 보기엔 그전에 Qwen 3.5 27b 나 과연 업무에 어디까지 써 봤나 궁금하다.

모에는 로우/미들 파라미터에선 흔들리는 갈대와 같음. 결국 댄스가 그나마 정확한 결과물을 뽑아냄을 Qwen 3.5 27b 가 증명하지 않았나?

검증안된 정보들을 마구잡이로 잡아다가 나팔만 불어대는 파딱 FOMO 계정들은 그냥 블락이 답인듯.

앞으로 헛소리 할때마다 블락하다가 결국 나도 다른 사람들처럼 쓰레드로 넘어가는 엔딩이 오려나…

Gamma4에 Fomo? 글쎄요…

• 일단 Vram 24G 에 컨텍스트 한계가 32K 입니다. 이 수치론 바이브코딩 등의 업무에 투입할 수 없습니다.
• 5090의 32G 환경에서도 100K 를 담보할 수 없습니다.
• 즉 최소 48G 혹은 64G 이상의 메모리를 가진 환경에서나 쓸 수 있습니다. https://t.co/8BFbUfU6Ls

제가 아무리 하꼬지만 방금 llama.cpp로 에이전트랑 같이 반나절 갈구고 내린 결과니 아주 조금은 믿어보셔도 될 겁니다.

게다가 메모리압축기술인 터보퀀트마저 기술특성으로 인해 작동하지 않습니다.

64기가 이상 메모리를 가진 맥미니/맥북에서나 느릿느릿 작동할 겁니다. (한숨) https://t.co/1Y2KOHpnqp

Gemma4 31B model requires more memory to extend the context. I also found that your presented turboquantum technology is not applicable due to ISAW technology. Nevertheless, user’s actual benchmark results show that it outperforms Qwen 3.5 27b.

Is this graph true? 🤔 https://t.co/pFBIFqlhdj