로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

THREAD ESSAYX THREAD ARCHIVE

Qwen 3.7 테스트로 게임 둘 만들어 봤습니다.

3개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Qwen 3.7 테스트로 게임 둘 만들어 봤습니다.

      1. 크롬 공룡게임 : https://t.co/KM6HtT5T6i (싱글턴 ‘크롬 공룡게임 만들어줘.‘의 결과물입니다.)

    싱글턴으로 여기까지 구현할까? 싶은 것들을 스스로 잘 달아 놨습니다. (죽을때 표정 바뀌는거 좀 귀엽습니다.)

    #Qwen #qwen3_6 #qwen3_6_27b https://t.co/ge34u4DAWa

    원문 보기
  2. 2

    -2. 사과게임 : https://t.co/CwRxAgl6bx

    • 합10을 만드는 사과게임의 재해석입니다.
    • 디자인은 어디까지 구현할 수 있을까?
    • 변형은 어디까지 만들 수 있을까?

    를 생각해서 만들었습니다. https://t.co/RZDqosxmwI

    원문 보기
  3. 3
    모바일에서 안열어봤더니 모바일은 좀 고칠데가 있군요 ㅡㅡㅋ
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Qwen 3.7 모델을 활용해 크롬 공룡 게임과 사과 게임 두 가지를 구현했으며, 특히 공룡 게임의 경우 단일 프롬프트(싱글턴)만으로 세부 디테일까지 생성되었다고 주장합니다. 하지만 제공된 1차 자료와 공식 저장소에서는 해당 모델이 구체적으로 어떤 프롬프트를 통해 이러한 결과물을 냈는지, 혹은 싱글턴 생성의 한계치가 어디까지인지에 대한 기술적 검증 데이터가 부족하여 이 부분은 확인이 필요합니다.

사과 게임의 재해석과 디자인 변형 시도 역시 개인의 실험 기록으로 보이며, 모바일 환경에서의 구동 최적화 문제는 사용자 경험에 기반한 주관적 판단으로 보입니다. 공식 문서나 저장소에서 모델의 코드 생성 능력을 정량적으로 입증하는 자료를 찾을 수 없으므로, 현재로서는 재현 가능성이 확인되지 않은 개별 운용 사례로 분류하는 것이 타당합니다. 전반적으로 모델의 성능을 체감한 기록이나, 기술적 근거는 보완되어야 할 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

언슬로스판 Q4양자화버전 다운로드

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    언슬로스판 Q4양자화버전 다운로드 기본 컨텍스트가 빡빡해서, 24G Vram 기준 36K 컨텍스트 평소 하던대로 공룡벤치

    … 리즈닝 확 줄어든것도 줄어든것인데.

    34T/s 토큰 6353개

    토큰 생성속도 기존보다 좀 빨라진거같은데 코드 품질이 미쳐있네. 공룡게임 여기까지 만든거 처음 보는데. https://t.co/bbqrqQ4HeM

    원문 보기
  2. 2

    소설 번역 테스트

    13990 토큰 싱글턴 프롬 4분 11초. 끝까지 평균 34T/s 문장구조는 제대로 나오나 27B보다 제대로 번역 못해내는 한글 텍스트가 늘어남.

    문장 쓰기/이해능력은 잼마4보다 떨어지는듯.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님이 공유하신 언슬로스판 Q4 양자화 모델의 성능 기록은 하드웨어 제약과 모델의 실질적 출력 품질 사이의 상관관계를 보여줍니다. 24GB VRAM 환경에서 36K 컨텍스트 제한과 초당 34토큰의 생성 속도는 기술적으로 재현 가능한 수치이며, 특히 코드 생성 능력의 향상은 구체적인 결과물로 증명되었습니다. 다만, 리즈닝 능력이 확연히 줄어들었다는 주장은 정량적 지표가 아닌 주관적 체감에 의존하고 있어 객관적인 검증이 필요합니다.

소설 번역 테스트에서 나타난 한국어 처리 능력 저하와 잼마4 대비 낮은 이해력에 대한 판단은 개인의 경험적 기록으로 보입니다. 모델의 파라미터 크기나 양자화 방식에 따른 언어 능력 변화는 일반적인 경향성일 수 있으나, 특정 텍스트에서 번역 품질이 떨어졌다는 주장은 공식 자료로 확인되지 않는 영역입니다. 따라서 해당 부분은 모델의 범용적 성능 하락이라기보다 특정 태스크에서의 편차일 가능성이 크므로 추가적인 확인이 필요합니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

End agent : kimi 4.6 (Api 호출 / 구독)

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    End agent : kimi 4.6 (Api 호출 / 구독) Middle agent : Qwen 3.6 plus 27b (로컬) low agent (Fast) : Qwen 3.6 plus 35b (로컬)

    10~20$ 구독으로 구축할 수 있는 최상의 세팅. 과연 미국 빅테크는 어떻게 반격을 할 것인가.

    아 이렇게 FOMO왔을때가 Gemini3 이후로 없었는데;;;

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님이 제시한 Kimi 4.6와 Qwen 3.6 시리즈의 계층적 에이전트 구성은 기술적으로 흥미로운 실험적 세팅입니다. 다만, 10~20달러의 구독료만으로 이 모든 구성의 '최상' 효율을 낼 수 있다는 주장은 공식적인 벤치마크나 정량적 자료로 입증된 바 없는 개인의 경험적 판단입니다. 특히 로컬 모델인 Qwen 3.6 27B와 35B를 동시에 운용하기 위해 필요한 하드웨어 제약과 실제 추론 속도의 재현 가능성은 확인이 필요합니다.

결과적으로 이 기록은 객관적 사실보다는 특정 모델 조합을 통해 체감 성능을 극대화하려는 사용자 수준의 운용 최적화 시도로 보입니다. 미국 빅테크의 반격이나 FOMO와 같은 감정적 소회 역시 기술적 근거보다는 시장의 흐름에 대한 개인의 주관적 해석에 가깝습니다. 따라서 해당 세팅의 실효성을 판단하기 위해서는 실제 구동 환경의 하드웨어 사양과 각 에이전트 간의 워크플로우 데이터가 추가로 뒷받침되어야 합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

프로그래머를 해고하면 당신 회사는

3개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    프로그래머를 해고하면 당신 회사는

    AI 클라우드 사용 : 사람 쓰는것보다 토큰값이 많이든다! 로컬 AI (로우파라메터) 사용 : 왜이렇게 멍청해? 로컬 AI (하이파라메터) 사용 : 장비값이 왜이리비싸?

    의 무한반복에 빠지게 됩니다 ^^;; 사람이 생성하는 토큰이 아직 싸고 품질이 좋습니다.

    원문 보기
  2. 2

    요 몇일 로컬 LLM 상담이 몇건 오는데 사기 치긴 싫으니까 제대로 상담해주니 전부 자기 상상하곤 다른지 손서레를 치면서 가더군요.

    다들 생각보다 진짜로 아는게 잘 없는데

    • 그것보다 자신들 기술조차도 잘 모르는 회사가 많은데 로컬 LLM 도입 기술상담이나 해주고 다닐까.

    1회 상담 50만원!

    원문 보기
  3. 3

    한다면 신청할 회사가 정말 있을까용??

    다들 그냥 쓰던 클로드/지피티/재미나이한테 물어보고 말 거 같은데용 ㅋㅋㅋㅋ

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

최근 로컬 LLM 도입을 검토하는 기업들이 겪는 비용과 성능의 딜레마에 관한 기록입니다. 클라우드 AI의 토큰 비용 부담, 저파라미터 모델의 낮은 지능, 고파라미터 모델 구동을 위한 하드웨어 비용 문제는 기술적 제약과 맞물려 실제 운용 과정에서 빈번히 발생하는 시행착오입니다. 다만, 프로그래머를 대체했을 때의 비용 효율성이 구체적으로 어떻게 역전되는지에 대한 정량적 근거는 부족하므로, 이는 작성자의 경험적 판단으로 보입니다.

기업들이 자사 기술 스택에 대한 이해 없이 로컬 LLM 도입을 희망한다는 주장은 개별 상담 사례에 기반한 개인적 견해입니다. 특히 상담 과정에서 나타난 기업들의 인식 차이나 특정 금액의 상담 수요 가능성은 객관적으로 검증된 지표가 아니기에 확인이 필요합니다. 결국 기술적 실체보다 기대치에 의존해 도입을 결정하려는 경향이 실제 구현 단계에서 괴리를 만든다는 점이 핵심입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

Qwen 3.6 plus 35B 를 쓰면 체감상 성능은

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Qwen 3.6 plus 35B 를 쓰면 체감상 성능은 Gemini 2.5 flash 에서 3.0 Flash 사이의 어딘가이다

    분명히 응답/지식수준은 꽤 있고 툴 콜링도 그럭저럭 하고 잘 하는데 너무 환각에 휩게 휩쓸린다.

    하지만, 로컬에 일단 어쨋건 조금이라도 일을 할 수 있는 모델이 하나 있다는건 믿음직하다.

    원문 보기
  2. 2

    그리고 디자인은 확실히 GPT보단 잘한다. 그거하난 확실하다.

    GPT 가 조교를 하면 프롬을 잘 주면 리즈닝 너무하다가 함정에 빠지니 뭐니 말이 많은데 그냥 깡으로 해주는게 최고다.

    Qwen 3.6 plus 35b 는 좀 미흡해도 깡으로 해낸다. 그게 중요한것.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Qwen 3.6 plus 35B 모델의 성능을 Gemini 2.5 Flash와 3.0 Flash 사이로 체감했다는 Serio님의 기록은 개인적인 사용 경험에 기반한 주관적 지표입니다. 지식 수준과 툴 콜링 능력은 어느 정도 갖췄으나 환각 현상이 심하다는 지적 역시 공식 벤치마크가 아닌 실제 운용 과정에서 나타난 시행착오로 보입니다. 특히 디자인 역량이 GPT보다 뛰어나며 '깡'으로 밀어붙이는 수행력이 좋다는 주장은 정량적 근거가 부족하여 추가적인 확인이 필요합니다.

그럼에도 로컬 환경에서 일정 수준의 업무 수행이 가능한 모델을 확보했다는 점은 기술적 운용 측면에서 유의미한 기록입니다. 프롬프트 최적화나 리즈닝 과정의 함정보다 단순 실행력이 중요하다는 관점은 실제 로컬 LLM을 활용하는 사용자들의 실무적 고충을 반영합니다. 다만 이러한 성능 체감이 하드웨어 제약이나 양자화 설정에 따라 달라질 수 있으므로, 재현 가능성을 검증하기 위한 구체적인 환경 데이터가 보완되어야 할 것입니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1
    키미 2.6 벤치 좋아보이긴 하는데… 과연 1.1TB 파라메터를 어떻게 작업환경에 올릴까? Q4 양자화를 해도 270300G 정도고. Q2 를 해야 140150G 나오겠네. 이건 맥 256에도 Q2 안하면 안올라가잖아? 최소한 로컬장비에 몇만불 (몇천만원) 쓸 수 있는 회사들만 가능하겠지. 그림의 떡이구만.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

키미 2.6의 벤치마크 성능과는 별개로, 1.1T라는 거대한 파라미터 규모를 로컬 환경에서 운용할 때 발생하는 하드웨어 제약에 주목할 필요가 있습니다. Q4 양자화 시 약 270~300GB, Q2 양자화 시 140~150GB의 메모리가 필요하다는 계산은 일반적인 양자화 공식에 기반한 수치로 보이나, 실제 구동 시의 오버헤드나 정확한 메모리 점유율은 공식 자료를 통해 추가 확인이 필요합니다.

다만 맥 스튜디오 256GB 모델에서도 Q2 양자화 없이는 모델을 올릴 수 없다는 주장과 고가의 장비 없이는 접근이 어렵다는 결론은 개인의 환경에 기반한 주관적 판단에 가깝습니다. 하드웨어 비용에 대한 언급 역시 시장 상황에 따른 추정치일 뿐, 공식적인 최소 사양 가이드라인이 제시되지 않은 상태에서는 경험적 기록으로 보는 것이 타당합니다. 결국 모델의 크기가 사용자 하드웨어의 한계를 상회하며 발생하는 실질적인 진입장벽을 지적한 글로 보입니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    https://t.co/57PwF2EvAt https://t.co/gt0RJhZlqX

    LG는 오래전부터 열심히 노력해 왔고, 꾸준히 노력하는 모습은 보기 좋다. 다만, Qwen 3.5 27b보다 성능이 빠진다면 접근 방법을 바꿔야 한다.

    당장 할 수 있는 건, 아파치 2.0. 본인들이 홍보를 할 수 없다면 Unsloth 에라도 태워야 함.

    원문 보기
  2. 2
    둘 다 만들 수 없다면, Moe 보다 정확한 작동과 반응을 보장하는 Dense 모델을 선택하는 것은 맞는 방향. 33B 모델이라 24G Vram 카드에 올릴 수 없다면 시작부터 32G가 넘는 맥/5090 이상에 접근하는 것도 방법. 다만, 섞고 섞는 GGUF 가 대세인 지금 라이센스를 제한하면 아무도 쓰지 않을 것임.
    원문 보기
  3. 3
    다만 외산 모델을 쓰기 꺼려하는 + 한글 한국어 한국적 지식 활용에 좀 더 능숙한 (Gemma4는 한글을 너무 잘 쓴다.) 모델이 필요한 한국 기업/기관들에는 얼마든지 수요가 있고 그쪽을 잘 파고들었으면 좋겠다. 그러기에 더더욱 한국 기업들이 접근할 수 있도록 라이선스 개방이 필요하지만…
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

LG의 모델 개발 노력은 인정되나, Qwen 3.5 27B 대비 성능 열위 시 접근 방식을 수정해야 한다는 Serio님의 지적은 기술적 관점에서 유효한 제언입니다. 특히 아파치 2.0 라이선스 도입이나 Unsloth 활용, 그리고 MoE보다 Dense 모델을 선택하는 방향성은 효율적인 모델 운용을 위한 실무적 대안으로 보입니다. 다만, 특정 하드웨어(맥, RTX 5090 등) 접근성이나 GGUF 포맷의 대세론과 라이선스 제한의 상관관계는 개인의 경험적 판단에 가깝기에 공식적인 데이터로 검증된 부분은 아닙니다.

한국어 특화 모델에 대한 국내 기업 및 기관의 수요가 존재한다는 점은 시장의 일반적인 흐름과 일치하지만, 구체적인 수요 규모나 라이선스 개방이 가져올 직접적인 효과는 추가적인 확인이 필요합니다. Gemma 4의 한국어 성능에 대한 언급 역시 사용자 경험에 기반한 주관적 평가이므로, 객관적인 벤치마크 지표를 통한 교차 검증이 선행되어야 합니다. 결국 기술적 지향점과 라이선스 정책의 유연함이 맞물려야 실질적인 생태계 확장이 가능할 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Gemini 3.1 이 높은 벤치와 다르게 신뢰/지속성이 떨어지는 것을 이해하는 것은 어렵다.

    하지만, https://t.co/2jhtzqZCiO 을 보면 짐작은 할 수 있다. 구글은 AI를 백화점으로 만들고 있다.

    백화점에는 모든게 있다. 하지만 스탈린이 이렇게 말했지. ‘동무는 전차에 백화점을 차리려 하시오?’

    원문 보기
  2. 2

    통합은 매력적. LLM의 뜻을 생각하면 더욱 AI에 모든 걸 엮고 싶을 것이다. 하지만 모든 것을 할 수 있다는 것은, 아무것도 할 수 없다는 말과 같다.

    Lagacy와 작별하는 것은 어렵지만, AI만 떼서 독립시키는 것은 충분히 가능할 것이다.

    그들은 언제쯤 이걸 알아차릴까. ‘겨울전쟁’에서 패배하면?

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Gemini 3.1의 벤치마크 성적과 실제 체감 성능 사이의 괴리, 그리고 구글의 통합 전략을 '백화점'에 비유한 분석입니다. 구글이 AI 모델에 지나치게 많은 기능을 통합하려 한다는 주장은 공식 문서상으로 드러난 모델의 다각적 기능 확장 추세와 궤를 같이하지만, 이것이 신뢰성과 지속성 하락의 직접적인 원인이라는 점은 기술적으로 명확히 입증되지 않은 작성자의 해석입니다. 특히 '전차에 백화점을 차리려 하느냐'는 비유를 통한 효율성 비판은 정성적인 의견에 가깝기에 구체적인 데이터 기반의 확인이 필요합니다.

레거시 시스템과의 결별 및 AI의 독립 가능성 역시 실현 가능한 시나리오이나, 현재 구글의 제품 생태계 구조상 이를 강행할 가능성은 확인되지 않은 영역입니다. 모델의 범용성이 오히려 전문성을 해치고 있다는 지적은 로컬 LLM 운용 과정에서 겪는 전형적인 시행착오와 맞닿아 있으나, 이를 '겨울전쟁'과 같은 패배의 전조로 연결 짓는 것은 논리적 비약이 포함된 주관적 판단입니다. 결국 이 글은 기술적 지표보다 실제 운용 경험에서 오는 괴리감을 토로한 기록으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    바이브코딩 확산, GGUF 가 부상하면서 낡고 구닥다리라 생각했던 llama.cpp 가 다시 로컬의 메인으로 복귀하는걸 보는 건 꽤 신선한 경험임. Lmstudio의 개선, 미래라 생각되었던 vllm과 sglang이 발전이 더뎌지는 것도 의미가 있지만

    Ollama 는 너무 심각하게 망가졌다. 다시 회복하지 못할 정도로.

    원문 보기
  2. 2
    그래서 타임라인에 벤치 결과나 구축 경험을 들고 오는 사람들이 Ollama를 언급하면 일단 생안경을 끼고 보게 됨. 안돌아가거나 돌아가도 엉망일게 뻔해서. 엉망인 자료를 들고오는 사람들은 그나마 낫다. 자료를 조작하거나 타인의 llama.cpp 자료를 Ollama라고 들고오는 거짓말쟁이들이 판을 친다.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

최근 GGUF 포맷의 부상과 함께 llama.cpp가 다시 로컬 LLM의 중심축으로 돌아오는 흐름이 관찰됩니다. LM Studio의 개선이나 vLLM, sglang의 발전 속도 변화 등은 기술적 생태계의 변동으로 해석할 수 있으나, Ollama의 상태가 회복 불가능할 정도로 망가졌다는 주장은 구체적인 지표가 제시되지 않은 개인의 경험적 판단에 가깝습니다. 특히 타인의 자료를 조작해 게시하는 이들이 많다는 지적은 정황상의 추측일 뿐, 공식적으로 검증된 사실이 아니기에 추가적인 확인이 필요합니다.

결국 이 기록은 특정 런타임의 성능 저하와 그로 인한 사용자 경험의 불신이 어디까지 도달했는지를 보여주는 시행착오의 일종입니다. 벤치마크 결과의 신뢰성 문제는 로컬 LLM 운용 환경의 파편화와 재현 가능성의 한계에서 비롯된 갈등으로 보입니다. 기술적 근거가 부족한 비판일지라도, 실제 구동 환경에서 느끼는 괴리가 크다는 점은 시사하는 바가 큽니다. 따라서 현재의 논란은 단순한 도구의 우열을 넘어, 데이터의 투명성과 재현성 확보가 시급함을 시사합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

예상한게 얼추 맞았군.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    예상한게 얼추 맞았군.

    Gemini 3 Flash 의 위치를 잘 보세요.

    로컬이 저 지점을 지나가면 그때부턴 본격적으로 쓸만해 질 겁니다. 내 컴퓨터에서 Gemini3 Flash 급의 모델이 컨텍스트 100K 포함해서 Vram 16G 안쪽으로 돌아가는 때부터가 본격적인 퍼스널 LLM의 시작이라 생각합니다. https://t.co/L5BVbKO6iT

    원문 보기
  2. 2

    라우팅을 통해 관리와 어려운건 프로바이더 모델이, 가벼운건 로컬모델이 하는 이중화 체계가 한동안 이어지겠지만 중요한건 소비전력이 적은 로컬로 AI의 무게추가 조금씩 이동하면서 더 가볍게 그리고 더 생활 속에서 AI가 작동하게 될 것이란 겁니다.

    대충 올해 여름~가을쯤일까요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Gemini 3 Flash 수준의 모델이 100K 컨텍스트를 포함해 VRAM 16GB 내에서 구동되는 시점을 개인용 LLM의 실질적 시작점으로 보셨습니다. 다만, 특정 모델의 성능 지표가 로컬 환경의 하드웨어 제약 내에서 정확히 구현될 시점이나 그 구체적인 기준은 공식 자료로 완전히 입증되지 않은 개인의 기술적 판단 영역입니다. 특히 해당 현상이 올해 여름이나 가을쯤 현실화될 것이라는 예측은 구체적인 근거가 부족하여 확인이 필요한 주장입니다.

현재 AI 생태계가 프로바이더 모델과 로컬 모델의 이중화 체계로 흐르고 있다는 분석은 기술적 흐름과 궤를 같이합니다. 하지만 소비전력이 낮은 로컬 모델로 무게중심이 이동하며 생활 밀착형 AI가 구현될 것이라는 전망은 실제 하드웨어 최적화 속도와 모델 경량화 효율에 따라 결과가 달라질 수 있는 경험적 추론입니다. 결국 이 논의의 핵심은 이론적 가능성보다는 실제 로컬 환경에서의 재현 가능성과 하드웨어 제약을 어떻게 극복하느냐에 달려 있습니다.

실험 맥락운용 관찰재현 포인트