로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

SINGLE POSTX POST ARCHIVE

그놈의 파딱 광고수익이 뭐라고

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1
    그놈의 파딱 광고수익이 뭐라고 왜 항상 이런 글은 llama 3.1 70B 지? 지금의 9B보다 못한 똥쓰레기를… https://t.co/ltF5OWRzJV
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

사용자가 경험한 모델 간의 품질 차이는 특정 작업과 프롬프트 환경에 따른 개별적 체감일 가능성이 큽니다. 메타의 공식 자료는 모델의 구성과 기본 정보만을 제공할 뿐, 모든 상황에서 규모가 큰 모델이 항상 우월한 결과물을 낸다고 보장하지 않기에 해당 주장은 구체적인 검증이 필요합니다.

특히 소형 모델이 대형 모델보다 낫다는 판단은 비교 조건이 명시되지 않은 상태에서 나온 주관적 경험 기록에 가깝습니다. 실행 환경이나 입력값에 따라 결과가 달라지는 생성형 인공지능의 특성상, 이를 일반적인 성능 차이로 단정 짓기에는 근거가 부족하여 추가 확인이 필요합니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

SINGLE POSTX POST ARCHIVE

근데 메타 뮤즈 저렇게 나오는걸 보니 라마5 조금 기대되기도 하고 그러네요

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    근데 메타 뮤즈 저렇게 나오는걸 보니 라마5 조금 기대되기도 하고 그러네요

    조만간 나온다던데 라마5 80b 나오면 많이들 환호하실듯.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

메타 뮤즈의 공개가 라마 5에 대한 기대감으로 이어지는 흐름은 충분히 이해되나, 이는 작성자의 개인적인 추정과 희망 섞인 전망에 가깝습니다. 특히 라마 5의 80비 모델 출시 시점과 구체적인 사양에 대해 언급한 부분은 공식적으로 확인된 바가 없는 내용이기에 확인이 필요합니다.

현재로서는 특정 모델의 출시가 시장의 환호를 불러일으킬 것이라는 주장은 객관적 근거가 부족한 주관적 판단입니다. 기술적 진보에 대한 기대는 좋으나, 공식 발표 전까지는 예측과 사실을 엄격히 구분하여 지켜볼 필요가 있습니다.

원문 해석확인 필요

THREAD ESSAYX THREAD ARCHIVE

이쁜건 돈이 된다. 어디서든.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1
    이쁜건 돈이 된다. 어디서든. 그게 똥이라도 이쁘면 돈이 된다.
    원문 보기
  2. 2
    llama.cpp 의 탈을 뒤집어 쓴 산업 폐기물.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

외형적인 완성도가 가치를 결정한다는 시각에서 특정 모델을 강하게 비판한 의견입니다. 다만, 해당 모델이 산업 폐기물 수준이라는 주장은 구체적인 성능 지표나 구조적 결함이 명시되지 않은 주관적 인상에 가깝기에 객관적 근거 확인이 필요합니다.

기술적으로는 큐엔 3.6-27비 모델과 라마 씨피피의 구동 환경을 대조해 보았으나, 원문의 비판을 뒷받침할 결정적인 결함은 공식 자료에서 발견되지 않았습니다. 따라서 이번 평가는 실제 운용 과정에서 겪은 개인적인 시행착오나 재현 불가능한 경험적 기록으로 보는 것이 타당합니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

로컬 AI 하드웨어의 용량·대역폭·스택 보강

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1
    부족한 듯 하여 추가. Local Ai 하시려는 분들에게 도움이 되길. https://t.co/VgOQvoXfU8
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

로컬 인공지능 환경에서 메모리 용량과 대역폭, 소프트웨어 스택이 각각 다른 병목 지점을 만든다는 분석은 타당합니다. 엔비디아의 알티엑스 프로 6000 블랙웰, 애플의 맥 스튜디오 엠3 울트라, 에이엠디의 라이젠 에이아이 맥스 플러스 395는 각 제조사의 공식 사양서에서 확인되듯 메모리 구조와 대역폭 특성이 확연히 다릅니다. 다만 인용된 자료의 수치들이 동일한 기준에서 비교된 것이 아니기에, 단순한 성능 순위로 해석하기보다는 하드웨어별 특성 차이로 이해하는 것이 적절합니다.

제시된 제품별 세부 수치 중 일부는 공식 문서와 완전히 일치하지 않거나 표기 기준이 달라 추가적인 확인이 필요합니다. 특히 실제 운용 환경에서의 효율은 단순 사양보다 소프트웨어 최적화 수준에 따라 크게 달라지므로, 경험적 기록과 공식 사양을 엄격히 구분해 살펴야 합니다. 하드웨어의 물리적 한계와 모델의 제약 사항을 면밀히 검토하여 재현 가능성을 확보하는 과정이 반드시 선행되어야 합니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

THREAD ESSAYX THREAD ARCHIVE

중국 고급 AI 모델 접근 제한과 로컬 LLM 대기

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1
    우물쭈물 하다가 이렇게 될 줄 알았지. 30B까진 풀어주지 좀 😑
    원문 보기
  2. 2
    Qwen 3.7 27b는 한동안 안 나올 거 같으니 llama 5나 기다려 봐야겠다.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

중국 당국이 알리바바와 바이트댄스 등 주요 기업의 고급 인공지능 모델에 대한 해외 접근 제한을 논의 중이라는 보도가 있었습니다 [s-strait, s-time]. 다만 이는 논의 단계일 뿐 실제 제도화 여부나 구체적인 적용 시점은 여전히 불투명한 상태입니다 [s-strait]. 따라서 접근 제한이 기정사실화되었다고 보기에는 아직 근거가 부족하며, 정책의 실질적인 영향력은 시행 확정 이후에나 판단할 수 있을 것입니다.

사용자가 언급한 특정 모델의 출시 지연 가능성은 공식적으로 확인되지 않은 개인의 추측에 가깝습니다 [s-x]. 특히 특정 버전의 출시 일정에 대해서는 제조사의 공식 발표가 없으므로 확인이 필요합니다. 결국 로컬 모델 사용자가 느끼는 제약과 기대감은 기술적 실체보다는 불확실한 정책 흐름에 따른 심리적 영향이 더 크게 작용하고 있는 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

SINGLE POSTX POST ARCHIVE

Qwen 3.6, Qwopus, Gemma3 31B 성능 비교 메모

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1
    Qwen 3.6 은 27b 도 35b 도 Qwopus 외에는 개선이 없음. 원 모델도 과추론의 문제가 있고, Qwopus에서 그걸 좀 잡았는데 반대로 성능에 대한 회의와 실제로도 약간 들쭉날쭉한 성능의 문제가 있음. 모델 자체의 성능은 Gemma3 31b가 일관적일 수 있음. 툴콜링 문제로 에이전트 활용성이 낮아서 그렇지.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

최근 공개된 큐웬 3.6 27비 모델과 젬마 4 31비 모델의 성능을 두고 사용자 사이에서 상충하는 평가가 나오고 있습니다. 큐웬 공식 자료와 구글의 기술 문서를 통해 각 모델의 존재와 체급은 확인되지만, 특정 변형 모델이 과추론 문제를 해결했는지 혹은 성능이 불안정한지에 대한 주장은 개별 사용자의 체감 영역에 머물러 있습니다. 특히 젬마 31비 모델의 일관성이 더 높다는 주장은 공식 벤치마크가 아닌 개인의 경험적 기록이므로, 보편적인 성능 우위로 단정하기에는 근거가 부족합니다.

도구 호출 능력으로 인해 에이전트 활용성이 낮다는 지적 역시 공식 자료만으로는 판단하기 어려워 추가적인 확인이 필요합니다. 로컬 환경에서의 모델 운용은 하드웨어 제약과 설정에 따라 결과값이 크게 달라지기에, 이러한 시행착오 기록은 참고 자료로만 활용하는 것이 바람직합니다. 결국 실제 업무 적용 가능성은 정량적 지표보다 개별 운용 환경에서의 재현 가능성에 달려 있다고 생각합니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

Google AI for Developers

Gemma 4 model overview

Gemma 4 모델 크기와 로컬 운용 맥락을 확인할 수 있는 공식 문서입니다.

공식 문서

THREAD ESSAYX THREAD ARCHIVE

오늘 나온 훈위완3 도 벤치상은 훌륭하네.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1
    오늘 나온 훈위완3 도 벤치상은 훌륭하네. 300B 이면 스파크 2대면 돌아갈 듯. 아파치 2.0 라이센스.
    원문 보기
  2. 2

    다만 오픈소스로 풀린 것과 나만의 서빙 환경을 만드는 것은 전혀 다른 이야기. 본인의 연간 토큰 사용량이 최소 2~3천억 토큰은 되어야 의미가 있음.

    Ai 는 투트랙으로 진행될 것. 내 주변에서 생활의 소소한 일을 진행해 주는 로우파라메터 로컬Ai와, 중요한 일을 정확히 수행하는 빅 파라메터 Ai.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 텐센트의 Hunyuan-Chat(훈위완) 최신 모델이 벤치마크상 우수하며 Apache 2.0 라이선스로 공개되었다는 점을 짚어주셨습니다. 모델의 파라미터 규모(300B)와 라이선스 정책은 공식 저장소(s-tencent-hunyuan)와 공식 채널(s-tencent-x)을 통해 확인 가능한 사실입니다. 다만, 구체적인 하드웨어 구성(스파크 2대)으로 구동 가능하다는 부분은 개별 환경에 따른 추정치이므로 실제 구동 가능 여부는 추가적인 검증이 필요합니다.

모델의 공개와 별개로, 개인의 연간 토큰 사용량이 수천억 단위가 되지 않는다면 자체 서빙 환경을 구축하는 실익이 낮다는 분석은 매우 현실적인 지적입니다. 특히 AI 생태계가 경량 로컬 AI와 고성능 빅 파라미터 AI의 투트랙으로 재편될 것이라는 전망은 기술적 효율성과 운용 비용의 관점에서 타당한 논리입니다. 다만, 이러한 이분법적 구조가 실제 시장의 표준으로 정착될지는 향후 모델 최적화 속도에 따라 달라질 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

THREAD ESSAYX THREAD ARCHIVE

Glm 5.2의 충격이 끝나자마자 cuda에서 벗어난 1.6T 모델이라니 중국의 추격이 매우 거세다.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Glm 5.2의 충격이 끝나자마자 cuda에서 벗어난 1.6T 모델이라니 중국의 추격이 매우 거세다.

    페이블이 접근/추론방식의 변화로 신선한 충격을 주고 있지만 실제 격차는 3개월 조금 넘는 수준인듯.

    물론 이 업계에서 3개월의 격차는 꽤 크지만 실제 시간상의 차이는 그렇게 많지 않으니.

    원문 보기
  2. 2

    이게 오픈소스라는게 더 충격적임.

    개인은 무리겠지만, 기업은 아니고 모델을 이용한 api 서비스 업체들이 더 저렴한 서비스 제공이 가능해짐.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 GLM-5.2 출시 직후 등장한 1.6T 규모의 모델이 CUDA 의존성을 탈피했다는 점과 그 오픈소스적 성격이 시장에 줄 충격을 분석하셨습니다. Z.ai의 공식 블로그와 허깅페이스 저장소를 통해 GLM-5.2의 공개와 장기 작업 성능 향상은 확인되나, 언급하신 1.6T 모델의 구체적인 CUDA 탈피 여부와 상세 제원은 공식 문서만으로는 완전히 교차 검증되지 않아 추가 확인이 필요합니다. 다만, 중국계 모델들이 오픈 가중치 전략을 통해 빠르게 생태계를 확장하며 API 서비스 단가를 낮추는 시장 구조의 변화는 설득력 있는 지적입니다.

특히 특정 모델 간의 기술 격차를 3개월 남짓으로 산정한 부분은 정량적 지표보다는 작성자의 주관적 판단과 체감 성능에 기반한 해석으로 보입니다. 모델의 파라미터 규모가 비약적으로 커진 상황에서 이를 오픈소스로 공개했다는 점은 기업용 서비스 제공자들에게 실질적인 비용 절감 기회가 될 수 있다는 분석입니다. 결과적으로 이번 논평은 단순한 기술 업데이트 확인을 넘어, 하드웨어 제약을 극복하려는 시도가 가져올 로컬 LLM 시장의 지각변동을 예리하게 짚어내고 있습니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

Hugging Face

zai-org/GLM-5.2

GLM-5.2 공개 모델 카드입니다.

primary-source

GitHub

zai-org/GLM-5

GLM-5 계열 공식 저장소입니다.

원 저장소

SINGLE POSTX POST ARCHIVE

오픈소스 모델의 강점은, 모델로 인해 생태계가 커지고 발전할 수 있다는 거. 하지만 단점은 아직은 진짜 극소수만 할 수 있는 영역이다 보니 프론티어 랩에서 새 모델을 내놓지 않으면 금방 정체되게 됨.

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    오픈소스 모델의 강점은, 모델로 인해 생태계가 커지고 발전할 수 있다는 거. 하지만 단점은 아직은 진짜 극소수만 할 수 있는 영역이다 보니 프론티어 랩에서 새 모델을 내놓지 않으면 금방 정체되게 됨.

    Qwen 3.6 / Gemma4 에서 멈춰버린 세계선. https://t.co/bdz9Rh7EsH

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 오픈소스 모델이 생태계 확장을 견인하는 강점이 있으나, 프론티어 랩의 신규 모델 공급 없이는 정체될 수밖에 없는 구조적 한계를 지적하셨습니다. 구글의 Gemma나 알리바바의 Qwen 같은 고성능 공개 모델이 생태계의 기준점이 된다는 점은 공식 문서와 허깅페이스의 흐름을 통해 확인되는 사실입니다. 다만, 특정 모델 이후로 세계선이 멈췄다거나 생태계가 금방 정체될 것이라는 판단은 작성자의 주관적 해석과 전망이 포함된 영역입니다.

이러한 관찰은 거대 모델을 학습시킬 수 있는 자본과 인프라를 갖춘 소수 집단에 대한 의존성을 드러내며, 로컬 LLM 운용 환경의 제약을 시사합니다. 하지만 실제로 생태계의 발전 속도가 정체되었는지, 혹은 프론티어 랩의 공급 주기와 상관없이 독자적인 최적화 기술로 극복 가능한 영역인지는 추가적인 데이터 검증이 필요합니다. 결국 오픈소스의 자생력이 프론티어 랩의 시혜적 공개에 얼마나 종속되어 있는지가 핵심 쟁점이 될 것입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

3090+1070Ti (24+8 32G vram)

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    3090+1070Ti (24+8 32G vram)

    • Gemma4 31b Q4 KvQ4 256K

    블로그에 올라갈 Ai 비평 작성 중인 모습.

    스플릿 레이어로 3090 에 비율을 강하게 주니 3090은 계속 일을 하지만, 1070은 메모리만 사용할 뿐 실제적인 작동은 적음. https://t.co/jXE5EYryee

    원문 보기
  2. 2

    Gemma4 31B 로 작성한 게시글의 Ai 비평.

    • Gpt가 수집한 근거+작성요지를 바탕으로 한글로 비평글을 작성. Gpt 로 글을 한번 다듬음.
    • Gemma4 31B 가 베이스 지식이 31B라서 환각이 좀 있지만, 반대로 근거들을 잘 수집해 주기만 한다면 글을 작성하는 한글 사용 역량은 오픈소스 중 제일 우수함. https://t.co/rhMjZzw9tU
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 RTX 3090과 1070Ti를 혼용하여 총 32GB의 VRAM을 확보하고 Gemma4 31B 모델을 구동하는 환경을 기록하셨습니다. 하드웨어 구성과 모델의 양자화 상태(Q4)는 기술적으로 가능하며, 특히 3090에 연산 비중을 높게 설정했을 때 1070Ti가 메모리 역할에 치중한다는 점은 CUDA 오프로딩의 일반적인 특성과 일치합니다(s-nvidia-cuda, s-llamacpp). 다만, Gemma4 31B의 한글 생성 역량이 오픈소스 중 최우수하다는 판단은 정량적 벤치마크보다는 작성자의 주관적 경험에 기반한 평가이므로 개별적인 검증이 필요합니다.

워크플로우 측면에서 GPT를 통해 근거를 수집하고 Gemma4로 초안을 작성한 뒤 다시 GPT로 다듬는 방식은 모델 간의 강점을 교차 활용하려는 시도로 보입니다. 하지만 Gemma4 31B의 베이스 지식 부족으로 인한 환각 현상이 발생한다는 점은 모델 자체의 한계이며, 이를 외부 근거 수집으로 보완할 수 있다는 주장은 실제 출력물의 정확도 측정 데이터가 없으므로 확인 필요 단계로 분류합니다(s-gemma). 결과적으로 이번 기록은 최적의 하드웨어 조합보다는 가용 자원 내에서 모델을 운용하며 겪은 시행착오와 활용 가능성을 탐색한 경험적 사례로 읽힙니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

GitHub

ggml-org/llama.cpp

GGUF와 로컬 LLM 추론 생태계의 대표 저장소입니다.

원 저장소

Google AI

Gemma

Gemma 계열 공개 모델 공식 자료입니다.

공식 문서