로컬 LLM 실험실

방금도

로컬에 설치된 Gemma4를 e4b를 llama.cpp 에서 호출

는 인공지능 에이전트라면 당연히 할 수 있는 기초적인 작업조차 못하고 엉뚱한 스크립트 계속 들이대고 있었음.

마치 술잔득 찌린 아저씨가 차키조차 못 꽂고 운전하겠다고 술주정 부리는것처럼.

게이머로서 젠슨황을 20년 넘게 봐 왔다.

그는 자신의 회사를 키우는 장기 로드맵 전략을 제시하는 능력이 우수하다.

다만 그것을 위해 쉼없이 거짓말을 한다. 통계를 왜곡하고, 매직 그래프를 그리며, 낮은 성능을 덮기 위해 전기를 퍼부어 차력쇼를 하는 제품을 만들어 왔다.

하지만 AI의 독점적 지위는 위로는 Tpu에 위협받고 아래로는 amd, 인텔에 추격받고 있다. 인텔 아크 배틀메이지 b70은 3090~4090급 성능에 32G Vram + 중고 3090급 가격으로 리테일시장에 충격을 줄 잠재력을 보유하고 있다.

과연 황과 그 제국이 2030년까지 그 AI제국을 유지할 수 있을까?

애초부터 인공지능이란게,

‘기존 인류가 만들어 온 지식들을 무수히 뭉쳐서 굴리고 굴려 보았더니 뭔가가 나왔습니다!’

라서 애초부터 ‘지식의 증류’에 가까운건데 프로젝트 파나마로 남의 지식들을 증류해 왔던 사람이 중국에서 클로드를 이용해 다른 모델 증류를 막겠다는건 모순적 행동 아닐까. https://t.co/fZdwBYN1q4

• 5090 64G
• 텐서병렬 기본탑재
• 70라인업까지 Nvlink 지원
• pci-16x2 / 3 보드들의 대중화

정도는 하고 그걸 물어보는게 맞는 게 아닐까? 개인이 로컬 모델 구동하기엔 여전히 환경이 엉망이잖아. 인용을 보라고, 맥을 병렬연결하거나, 5년된 3090을 쓰는 상황이 과연 정상인걸까? https://t.co/lNT8qtDVhe

5090 64g가 나와서 둘을 pci-ex 16x 네이티브로 얹고 거기에 nvlink 연결해서 128g 듀얼gpu 구동 환경을 구축해야

Gemma4 31b dence 가 한 80~100tok/s 나오겠지. 그리고 Q4양자화 200B 모델들도 안정적으로 돌릴거고.

그정도는 되야 유의미한 작업환경이라고. 안그러면 그냥 외부모델 쓰는게 나아.

2026년 4월 현재 업무용으로 써볼만한 수준의 로컬 모델은 둘 밖에 없음.

‘Qwen 3.5 27b랑 Gemma4 31b’

중/소규모 파라미터를 가지는 모델에서 정확한 작업을 하려면 Dense 모델밖에 없음.그 외의 모델을 언급하는 사람들은

써본적이 없거나, 사기꾼이거나.

Moe? 당신이 RP채팅만 할꺼면 괜찮음.

로컬 머신을 이용해 6시간 걸려서 절반정도 작업할 분량을 gpt-5-mini를 이용해 전체 분량을 30분만에 완성했다.

다들 로컬에 환상을 좀 깼으면 좋겠다.

로컬 기반으로 설계하고 작업도 많이 하지만 로컬은 정말 한계가 뚜렷하다. 작년 여름에 나온 저가형 모델한테조차 성능/시간에서 압도당함.

클로드건, 지피티건, 재미나이건 그 어떤 대형모델도 컨텍스트 토큰이 300K 언저리에 도달하면 컨텍스트 부패가 진행되는 듯 보인다.

1. Codex 는 세션압축이 덜하기에 컨텍스트 한계치에 도달하면 술취한 사람처럼 횡설수설 갈팡질팡한다.

2. 클로드는 이걸 해결하기 위해 공격적 컨텍스트 압축을 하다 어느 순간 자신의 세션 작업 내용을 잃어버린다.

3. 재미나이는 표시상으론 작업을 수행했으나 실제론 수행하지 않은 몽유병 증상을 보이는데 이는 재미나이가 앞선 두 모델보다 더 큰 컨텍스트창을 가지는데서 오는 듯 하다.

4. 재미있는건 세 모델 다 각자 정도가 심한 것이 있을 뿐 다른 증상이 없는 것은 아니라는 것이다.

5. 충분한 컨텍스트 공간(Vram)을 확보하지 못하는 로컬 모델들은 컨텍스트부패로 오는 문제가 더 빨리 나타난다. Qwen 3.5 27b는 200K 컨텍스트를 확보해 줘도 120~150K에서 몽유병 증상을 보인다.

결론 :

1. 플래그십 모델의 경우 컨텍스트가 약 250~300K가 되면 새 세션을 시작. 세션 증적/다음 세션 핸드오프 문서를 작성해달라 한 다음 다음 세션에서 이를 읽히고 시작하는걸 권한다.

2, 로컬 모델들의 경우 약 Vram의 가용량에 따라 다르나 120~150K 에서 다음 세션으로 넘어가는게 좋다.

방금 GPT가 워크플로우 작업을 계속 놓치고 자기마음대로 작업하던걸 속터져라 보다가 컨텍스트량을 보니 300K를 넘겨서 증적문서 작성에만 명령을 3번 집어넣고 간신이 세션 탈출한 후

답답해서 쓴 글입니다.

내 지피티/클로드/잼민이가 왜 이러지? 하는 분들에게 도움이 되었으면 좋겠네요.

터보퀀트 분석하던 저장소를 지웠다.

100G나 써가면서 돌렸지만, 내 한정된 컴퓨팅 자원으론 분석에 한계가 있었음. 그리고 중요한건 llama.cpp 나 vllm 같은 모델 서빙 엔진들이 아직 적극적인 지원에 한계가 있다고 생각했기 때문.

물론 내가 지식이 부족해서 다 못쓰는걸수도 있지만 다시 그냥 llama.cpp에 다른 사람들이 튜닝한 모델을 올리는 방향으로 갈듯.

하지만 절대 올라마로는 돌아가지 않음. 쓰더라도 lmstudio를 쓰지. 허깅페이스에 올라온 모델들을 올라마가 연결해주는데까지 3일이나 기다릴 수 없다.