로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

THREAD ESSAYX THREAD ARCHIVE

중국 고급 AI 모델 접근 제한과 로컬 LLM 대기

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1
    우물쭈물 하다가 이렇게 될 줄 알았지. 30B까진 풀어주지 좀 😑
    원문 보기
  2. 2
    Qwen 3.7 27b는 한동안 안 나올 거 같으니 llama 5나 기다려 봐야겠다.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

중국 당국이 알리바바와 바이트댄스 등 주요 기업의 고급 인공지능 모델에 대한 해외 접근 제한을 논의 중이라는 보도가 있었습니다 [s-strait, s-time]. 다만 이는 논의 단계일 뿐 실제 제도화 여부나 구체적인 적용 시점은 여전히 불투명한 상태입니다 [s-strait]. 따라서 접근 제한이 기정사실화되었다고 보기에는 아직 근거가 부족하며, 정책의 실질적인 영향력은 시행 확정 이후에나 판단할 수 있을 것입니다.

사용자가 언급한 특정 모델의 출시 지연 가능성은 공식적으로 확인되지 않은 개인의 추측에 가깝습니다 [s-x]. 특히 특정 버전의 출시 일정에 대해서는 제조사의 공식 발표가 없으므로 확인이 필요합니다. 결국 로컬 모델 사용자가 느끼는 제약과 기대감은 기술적 실체보다는 불확실한 정책 흐름에 따른 심리적 영향이 더 크게 작용하고 있는 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

SINGLE POSTX POST ARCHIVE

Qwen 3.6, Qwopus, Gemma3 31B 성능 비교 메모

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1
    Qwen 3.6 은 27b 도 35b 도 Qwopus 외에는 개선이 없음. 원 모델도 과추론의 문제가 있고, Qwopus에서 그걸 좀 잡았는데 반대로 성능에 대한 회의와 실제로도 약간 들쭉날쭉한 성능의 문제가 있음. 모델 자체의 성능은 Gemma3 31b가 일관적일 수 있음. 툴콜링 문제로 에이전트 활용성이 낮아서 그렇지.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

최근 공개된 큐웬 3.6 27비 모델과 젬마 4 31비 모델의 성능을 두고 사용자 사이에서 상충하는 평가가 나오고 있습니다. 큐웬 공식 자료와 구글의 기술 문서를 통해 각 모델의 존재와 체급은 확인되지만, 특정 변형 모델이 과추론 문제를 해결했는지 혹은 성능이 불안정한지에 대한 주장은 개별 사용자의 체감 영역에 머물러 있습니다. 특히 젬마 31비 모델의 일관성이 더 높다는 주장은 공식 벤치마크가 아닌 개인의 경험적 기록이므로, 보편적인 성능 우위로 단정하기에는 근거가 부족합니다.

도구 호출 능력으로 인해 에이전트 활용성이 낮다는 지적 역시 공식 자료만으로는 판단하기 어려워 추가적인 확인이 필요합니다. 로컬 환경에서의 모델 운용은 하드웨어 제약과 설정에 따라 결과값이 크게 달라지기에, 이러한 시행착오 기록은 참고 자료로만 활용하는 것이 바람직합니다. 결국 실제 업무 적용 가능성은 정량적 지표보다 개별 운용 환경에서의 재현 가능성에 달려 있다고 생각합니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

Google AI for Developers

Gemma 4 model overview

Gemma 4 모델 크기와 로컬 운용 맥락을 확인할 수 있는 공식 문서입니다.

공식 문서

THREAD ESSAYX THREAD ARCHIVE

오늘 나온 훈위완3 도 벤치상은 훌륭하네.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1
    오늘 나온 훈위완3 도 벤치상은 훌륭하네. 300B 이면 스파크 2대면 돌아갈 듯. 아파치 2.0 라이센스.
    원문 보기
  2. 2

    다만 오픈소스로 풀린 것과 나만의 서빙 환경을 만드는 것은 전혀 다른 이야기. 본인의 연간 토큰 사용량이 최소 2~3천억 토큰은 되어야 의미가 있음.

    Ai 는 투트랙으로 진행될 것. 내 주변에서 생활의 소소한 일을 진행해 주는 로우파라메터 로컬Ai와, 중요한 일을 정확히 수행하는 빅 파라메터 Ai.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 텐센트의 Hunyuan-Chat(훈위완) 최신 모델이 벤치마크상 우수하며 Apache 2.0 라이선스로 공개되었다는 점을 짚어주셨습니다. 모델의 파라미터 규모(300B)와 라이선스 정책은 공식 저장소(s-tencent-hunyuan)와 공식 채널(s-tencent-x)을 통해 확인 가능한 사실입니다. 다만, 구체적인 하드웨어 구성(스파크 2대)으로 구동 가능하다는 부분은 개별 환경에 따른 추정치이므로 실제 구동 가능 여부는 추가적인 검증이 필요합니다.

모델의 공개와 별개로, 개인의 연간 토큰 사용량이 수천억 단위가 되지 않는다면 자체 서빙 환경을 구축하는 실익이 낮다는 분석은 매우 현실적인 지적입니다. 특히 AI 생태계가 경량 로컬 AI와 고성능 빅 파라미터 AI의 투트랙으로 재편될 것이라는 전망은 기술적 효율성과 운용 비용의 관점에서 타당한 논리입니다. 다만, 이러한 이분법적 구조가 실제 시장의 표준으로 정착될지는 향후 모델 최적화 속도에 따라 달라질 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

THREAD ESSAYX THREAD ARCHIVE

Glm 5.2의 충격이 끝나자마자 cuda에서 벗어난 1.6T 모델이라니 중국의 추격이 매우 거세다.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Glm 5.2의 충격이 끝나자마자 cuda에서 벗어난 1.6T 모델이라니 중국의 추격이 매우 거세다.

    페이블이 접근/추론방식의 변화로 신선한 충격을 주고 있지만 실제 격차는 3개월 조금 넘는 수준인듯.

    물론 이 업계에서 3개월의 격차는 꽤 크지만 실제 시간상의 차이는 그렇게 많지 않으니.

    원문 보기
  2. 2

    이게 오픈소스라는게 더 충격적임.

    개인은 무리겠지만, 기업은 아니고 모델을 이용한 api 서비스 업체들이 더 저렴한 서비스 제공이 가능해짐.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 GLM-5.2 출시 직후 등장한 1.6T 규모의 모델이 CUDA 의존성을 탈피했다는 점과 그 오픈소스적 성격이 시장에 줄 충격을 분석하셨습니다. Z.ai의 공식 블로그와 허깅페이스 저장소를 통해 GLM-5.2의 공개와 장기 작업 성능 향상은 확인되나, 언급하신 1.6T 모델의 구체적인 CUDA 탈피 여부와 상세 제원은 공식 문서만으로는 완전히 교차 검증되지 않아 추가 확인이 필요합니다. 다만, 중국계 모델들이 오픈 가중치 전략을 통해 빠르게 생태계를 확장하며 API 서비스 단가를 낮추는 시장 구조의 변화는 설득력 있는 지적입니다.

특히 특정 모델 간의 기술 격차를 3개월 남짓으로 산정한 부분은 정량적 지표보다는 작성자의 주관적 판단과 체감 성능에 기반한 해석으로 보입니다. 모델의 파라미터 규모가 비약적으로 커진 상황에서 이를 오픈소스로 공개했다는 점은 기업용 서비스 제공자들에게 실질적인 비용 절감 기회가 될 수 있다는 분석입니다. 결과적으로 이번 논평은 단순한 기술 업데이트 확인을 넘어, 하드웨어 제약을 극복하려는 시도가 가져올 로컬 LLM 시장의 지각변동을 예리하게 짚어내고 있습니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

Hugging Face

zai-org/GLM-5.2

GLM-5.2 공개 모델 카드입니다.

primary-source

GitHub

zai-org/GLM-5

GLM-5 계열 공식 저장소입니다.

원 저장소

SINGLE POSTX POST ARCHIVE

오픈소스 모델의 강점은, 모델로 인해 생태계가 커지고 발전할 수 있다는 거. 하지만 단점은 아직은 진짜 극소수만 할 수 있는 영역이다 보니 프론티어 랩에서 새 모델을 내놓지 않으면 금방 정체되게 됨.

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    오픈소스 모델의 강점은, 모델로 인해 생태계가 커지고 발전할 수 있다는 거. 하지만 단점은 아직은 진짜 극소수만 할 수 있는 영역이다 보니 프론티어 랩에서 새 모델을 내놓지 않으면 금방 정체되게 됨.

    Qwen 3.6 / Gemma4 에서 멈춰버린 세계선. https://t.co/bdz9Rh7EsH

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 오픈소스 모델이 생태계 확장을 견인하는 강점이 있으나, 프론티어 랩의 신규 모델 공급 없이는 정체될 수밖에 없는 구조적 한계를 지적하셨습니다. 구글의 Gemma나 알리바바의 Qwen 같은 고성능 공개 모델이 생태계의 기준점이 된다는 점은 공식 문서와 허깅페이스의 흐름을 통해 확인되는 사실입니다. 다만, 특정 모델 이후로 세계선이 멈췄다거나 생태계가 금방 정체될 것이라는 판단은 작성자의 주관적 해석과 전망이 포함된 영역입니다.

이러한 관찰은 거대 모델을 학습시킬 수 있는 자본과 인프라를 갖춘 소수 집단에 대한 의존성을 드러내며, 로컬 LLM 운용 환경의 제약을 시사합니다. 하지만 실제로 생태계의 발전 속도가 정체되었는지, 혹은 프론티어 랩의 공급 주기와 상관없이 독자적인 최적화 기술로 극복 가능한 영역인지는 추가적인 데이터 검증이 필요합니다. 결국 오픈소스의 자생력이 프론티어 랩의 시혜적 공개에 얼마나 종속되어 있는지가 핵심 쟁점이 될 것입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

3090+1070Ti (24+8 32G vram)

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    3090+1070Ti (24+8 32G vram)

    • Gemma4 31b Q4 KvQ4 256K

    블로그에 올라갈 Ai 비평 작성 중인 모습.

    스플릿 레이어로 3090 에 비율을 강하게 주니 3090은 계속 일을 하지만, 1070은 메모리만 사용할 뿐 실제적인 작동은 적음. https://t.co/jXE5EYryee

    원문 보기
  2. 2

    Gemma4 31B 로 작성한 게시글의 Ai 비평.

    • Gpt가 수집한 근거+작성요지를 바탕으로 한글로 비평글을 작성. Gpt 로 글을 한번 다듬음.
    • Gemma4 31B 가 베이스 지식이 31B라서 환각이 좀 있지만, 반대로 근거들을 잘 수집해 주기만 한다면 글을 작성하는 한글 사용 역량은 오픈소스 중 제일 우수함. https://t.co/rhMjZzw9tU
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 RTX 3090과 1070Ti를 혼용하여 총 32GB의 VRAM을 확보하고 Gemma4 31B 모델을 구동하는 환경을 기록하셨습니다. 하드웨어 구성과 모델의 양자화 상태(Q4)는 기술적으로 가능하며, 특히 3090에 연산 비중을 높게 설정했을 때 1070Ti가 메모리 역할에 치중한다는 점은 CUDA 오프로딩의 일반적인 특성과 일치합니다(s-nvidia-cuda, s-llamacpp). 다만, Gemma4 31B의 한글 생성 역량이 오픈소스 중 최우수하다는 판단은 정량적 벤치마크보다는 작성자의 주관적 경험에 기반한 평가이므로 개별적인 검증이 필요합니다.

워크플로우 측면에서 GPT를 통해 근거를 수집하고 Gemma4로 초안을 작성한 뒤 다시 GPT로 다듬는 방식은 모델 간의 강점을 교차 활용하려는 시도로 보입니다. 하지만 Gemma4 31B의 베이스 지식 부족으로 인한 환각 현상이 발생한다는 점은 모델 자체의 한계이며, 이를 외부 근거 수집으로 보완할 수 있다는 주장은 실제 출력물의 정확도 측정 데이터가 없으므로 확인 필요 단계로 분류합니다(s-gemma). 결과적으로 이번 기록은 최적의 하드웨어 조합보다는 가용 자원 내에서 모델을 운용하며 겪은 시행착오와 활용 가능성을 탐색한 경험적 사례로 읽힙니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

GitHub

ggml-org/llama.cpp

GGUF와 로컬 LLM 추론 생태계의 대표 저장소입니다.

원 저장소

Google AI

Gemma

Gemma 계열 공개 모델 공식 자료입니다.

공식 문서

THREAD ESSAYX THREAD ARCHIVE

RTX 3060 12G 재출시와 LLM 가성비

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    3060 12G가 $339로 다시 나오는 거 같은데 대체 무슨 매리트가 있나 싶음.

    게이밍? 5050 8G 가 성능부터 전기소모까지 모든게 나은데 $249 임. Vram 문제같으면 5060XT가 $349.

    LLM? 차라리 5060Ti 16G를 가는게 낫지 않겠음? 2개를 끼워서 텐서병렬 24G 할 수 있는데 그럼 680$라서 3090 중고가 쌈.

    원문 보기
  2. 2
    시장에 GPU가 말랐고, 게이머들을 대상으로 엔트리 라인업 그래픽카드 공급을 위해 3060을 삼성 파운드리에서 다시 생산한다 하면 가격이 성의가 있어야 했던 거 아닌가 싶음. 차라리 8G, 아니 6G에 기판도 간소화해서 199$에 내놨으면 다들 오오 젠슨황 오오 게이머를 안버렸구나! 하면서 샀을 것임.
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

RTX 3060 12GB 모델이 339달러로 재출시되었다는 점은 외부 보도를 통해 확인되는 사실입니다. 다만 Serio님이 언급하신 RTX 50 시리즈의 구체적인 가격과 세부 모델명, 그리고 이에 따른 가성비 비교는 현재 공식 출시 전이거나 확정되지 않은 정보이므로 추후 실제 출시가와 벤치마크를 통한 확인이 필요합니다.

LLM 운용 관점에서 VRAM 용량이 중요함에도 불구하고, 재출시 가격이 중고 RTX 3090 등의 대안 대비 매력이 낮다는 지적은 합리적인 추론입니다. 다만 텐서 병렬 구성 시의 효율이나 전력 소모 대비 성능비는 사용자의 시스템 환경에 따라 결과가 달라질 수 있는 영역입니다. 결과적으로 이번 재출시가 시장의 수요를 정확히 읽었는지는 의문이며, 단순한 공급 부족 해결책에 그쳤다는 비판은 타당해 보입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

NVIDIA

NVIDIA DGX Spark

DGX Spark 공식 사양 및 제품 설명입니다.

공식 발표

SINGLE POSTX POST ARCHIVE

DGX Spark 구매 판단과 로컬 머신의 비용 문제

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    지금 Dgx Spark 구매는 패닉바잉일지 아니면 현명한 소비일지

    개인적으론 패닉바잉에 가깝다 생각하지만요. 1대로 쓰는건 애매하고, 2대 사야 쓸만해져셔. 메모리 대역폭은 낮고, 코어는 5070.

    단지 128G 메모리라는 이유로 700만원을 태우는건 좀…

    진자 요즘 컴덕 재미없어요. 다들 너무 비쌈.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 DGX Spark 구매를 두고 가성비가 낮은 '패닉바잉'에 가깝다는 부정적인 견해를 보였습니다. 128GB라는 메모리 용량 대비 700만 원이라는 가격과 낮은 메모리 대역폭, 그리고 코어 성능에 대한 불만족이 그 근거로 제시되었습니다. 다만, 1대보다는 2대를 운용해야 실효성이 있다는 주장은 개인의 사용 환경에 따른 주관적 판단이며, 공식 사양서(s-nvidia-dgx-spark)만으로는 객관적으로 검증하기 어려운 영역입니다.

가격과 메모리 용량은 마켓플레이스 자료(s-nvidia-market-dgx)를 통해 확인 가능한 사실이나, 이를 '현명하지 못한 소비'로 연결 짓는 것은 작성자의 해석입니다. 특히 코어 성능에 대한 구체적인 수치나 대역폭의 한계가 실제 LLM 추론 속도에 미치는 영향은 공식 자료에서 직접 확인되지 않으므로 추가적인 벤치마크 검토가 필요합니다. 결국 이 글은 하드웨어의 제약과 비용 사이에서 갈등하는 로컬 LLM 사용자의 경험적 기록으로 읽어야 합니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

NVIDIA

NVIDIA DGX Spark

DGX Spark 공식 사양 및 제품 설명입니다.

공식 발표

THREAD ESSAYX THREAD ARCHIVE

Local LLM 지름신을 줄이는 현실적 비교

3개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Local LLM 지름신 퇴치 빨간약이 있음.

    1. Opencode 설치.
    2. 무료로 제공해주는 다음 프로바이더들을 사용해 볼 것.
    • Zen : Deepsekk V4 Flash
    • OepnRouter (Api 키 발급 및 등록 필요) : Google: Gemma 4 31B, Gemma 4 26B A4B (https://t.co/kqjz1Lr8cr)
    1. 퇴치됨. https://t.co/hrB8Bz2vsq
    원문 보기
  2. 2

    그럼 너는 왜 쓰냐?

    • 컴덕/겜돌이였음. 게임머신들 분해 후 투입.
    • 사둔거/있는거 어떻게든 써보려 아둥바둥.
    • 컴덕이라 재미로 하는 거
    • 나두 로컬 머신 세팅하면 돈 안들이고 많은 걸 할 수 있을 줄 알았음.
    • 후 님/니들은 이런 거 하지 마라.
    원문 보기
  3. 3

    저거 써 봤는데 결과물이 괜찮다 느껴진다면

    • Opencode go 를 5달러 주고 결제한 다음 GLM 5.2 사용
    • 20~30$ 주고 클로드 코드/Codex 사용

    한 다음 결과물을 비교해 보시고 안 쓰시게 되십니다. 특정 목적으로 잘 설계된 하네스들과 조합할 때나 의미가 있는 것이지 아니면 아직 허접하죠.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 LLM 장비 구매 전 OpenCode와 OpenRouter의 무료 모델들을 먼저 체험함으로써 불필요한 지출을 줄일 수 있다고 주장합니다. 실제로 OpenRouter에서 Gemma 4 31B 등 일부 모델을 무료로 제공하고 있으며, OpenCode와의 연동 경로가 공식 문서(s-openrouter-opencode)를 통해 확인되므로 이는 실현 가능한 대안입니다. 다만, 특정 유료 모델 사용 후 결과물을 비교하면 로컬 LLM의 효용성이 낮아질 것이라는 주장은 개인의 작업 성향에 따른 주관적 해석이며, 모든 사용자에게 동일하게 적용될지는 확인이 필요합니다.

로컬 머신 구축이 주는 심리적 만족감과 실제 생산성 사이의 괴리는 하드웨어 운용 경험이 있는 사용자들의 공통된 시행착오로 보입니다. 특히 로컬 LLM이 특정 목적의 하네스와 조합되지 않는 한 여전히 부족하다는 평가는 기술적 한계를 지적한 것이나, 이는 정량적 벤치마크가 아닌 경험적 판단에 근거하고 있습니다. 결국 고가의 장비 투입 전 클라우드 기반의 저가형 API를 통해 자신의 필요 수준을 먼저 측정하는 것이 가장 현실적인 접근법이라 판단됩니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

OpenRouter Docs

OpenCode integration

OpenCode와 OpenRouter 연동 방법을 설명합니다.

공식 문서

SINGLE POSTX POST ARCHIVE

Gemma4 31B Cerebras 가격 메모

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    Gemma4 31B 세라브레스 가격 1백만 토큰당 $0.99 / 출력 $1.49

    에 당신들 비싸요. 아무리 빨라도. https://t.co/k2g4nGfDhQ

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Cerebras의 Gemma 4 31B 모델 이용 가격이 입력 1백만 토큰당 $0.99, 출력 $1.49로 책정된 점을 들어, 추론 속도가 빠르더라도 비용 부담이 크다고 평가하셨습니다. 공식 가격표(s-cerebras-pricing)와 Gemma 4 출시 발표(s-cerebras-gemma)를 통해 해당 수치는 사실로 확인되나, '비싸다'는 판단은 개인의 비용 가치 기준에 따른 주관적 해석입니다.

다만, 타 서비스와의 구체적인 가격 비교 데이터가 제시되지 않은 상태에서 내린 결론이기에, 이 평가가 시장 평균 대비 절대적으로 높은 것인지는 추가 확인이 필요합니다. 속도라는 효용이 비용 상승분을 상쇄하는지에 대한 객관적 근거가 부족하므로, 현재로서는 운용자의 경험적 체감에 기반한 의견으로 읽힙니다. 효율성과 비용의 상관관계에 대한 정밀한 분석이 뒷받침되어야 할 대목입니다.

실험 맥락운용 관찰재현 포인트

팩트 체크 & 근거 자료

Cerebras

Cerebras pricing

Cerebras inference pricing을 확인합니다.

공식 문서