로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

SINGLE POSTX POST ARCHIVE

한 반년 실험해보니

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    한 반년 실험해보니

    “Review”

    야 말로 LLM 이 가장 잘하는 부분이었습니다.

    저야 하꼬라, 기업에서 어떻게 LLM으로 보안을 유지하면서 리뷰를 시키시는지는 궁금할 따름입니다만…

    특히 Opus4.6은 리뷰에선 Codex 5.3 보다도 반발에서 한발 더 앞서가 있는 느낌입니다.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 약 6개월간의 실험을 통해 LLM의 '리뷰' 능력이 매우 탁월하다는 개인적 경험을 공유하셨습니다. 특히 Opus 4.6 모델이 Codex 5.3보다 리뷰 성능 면에서 앞선다는 구체적인 비교 판단을 내리셨으나, 이는 개별 사용자의 주관적 체감 수치일 뿐 공식 벤치마크나 기술 문서로 검증된 결과는 아닙니다. 따라서 해당 모델 간의 성능 우위에 대한 주장은 객관적 근거가 부족하며, 추가적인 데이터 확인이 필요한 영역입니다.

반면, 기업 환경에서 LLM을 활용할 때 보안 유지와 리뷰 작업의 병행이 핵심 과제라는 점은 업계의 일반적인 기술적 쟁점과 궤를 같이합니다. 다만 원문에서 언급된 특정 모델 버전들의 성능 차이는 재현 가능성이 불분명한 개인의 운용 기록으로 보는 것이 타당합니다. 결국 이 기록은 공식적인 성능 지표라기보다, 실제 사용 과정에서 느낀 모델별 특성에 기반한 경험적 관찰로 이해해야 합니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

맞아요

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    맞아요

    저도 로컬 20B 모델은 단순 텍트스 오더 이상의 기능을 요구할 수 없다고 생각해요.

    최소 gpt-oss-120B 는 되야 제대로 된 답변이 나오는데 도구 호출을 할 줄 몰라요.

    그러니 효용성 높은 로컬은 좀 기다리는게 맞는거 같아요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 20B 모델의 기능적 한계와 120B급 모델의 도구 호출 능력 부족을 언급하며, 실효성 있는 로컬 모델의 등장을 기다려야 한다는 견해를 밝히셨습니다. 모델의 파라미터 규모에 따른 성능 차이는 일반적인 기술적 경향성과 일치하지만, 특정 모델(gpt-oss-120B)이 도구 호출을 수행하지 못한다는 구체적인 주장은 공식 문서나 저장소를 통해 직접적으로 검증되지 않은 상태입니다. 따라서 이 부분은 기술적 사실이라기보다 사용자의 개별적인 실험 결과에 기반한 경험적 기록으로 보이며, 객관적 확증을 위해서는 추가적인 확인이 필요합니다.

결과적으로 이번 기록은 하드웨어 제약과 모델의 체급 차이로 인해 발생하는 실제 운용상의 괴리를 보여준다는 점에서 의미가 있습니다. 다만, 특정 규모의 모델이 반드시 특정 기능을 수행하지 못한다는 단정적인 판단은 모델의 최적화 상태나 프롬프트 구성에 따라 달라질 수 있으므로 주의 깊게 살펴야 합니다. 현재로서는 로컬 환경에서의 효용성에 대한 개인적인 체감 수치와 시행착오를 기록한 글로 판단됩니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

오늘도 저와 세리오는 삽질 중입니다.

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    오늘도 저와 세리오는 삽질 중입니다.

    세리오를 지금 목적에 맞게 ‘원격 컨트롤 자율주행 IDE’ 로 재설계했고 (스케줄 크론 버림, Heartbeat 최소화)

    다른 분들의 사용사례를 참고해 LLM 모델별 (토큰 가용량별) 임무를 분화했습니다.

    매일의 진화가 즐겁습니다.

    멈출수가 없어요.

    #OpenClaw

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 시스템을 '원격 컨트롤 자율주행 IDE'로 재설계하며 스케줄 크론 제거와 하트비트 최소화, 그리고 모델별 토큰 가용량에 따른 임무 분화를 진행했다고 밝히셨습니다. 다만, 이러한 기술적 변경 사항이 실제 구현되었는지는 llama.cpp 저장소나 Gemma 공식 문서 등 외부 자료를 통해 직접적으로 교차 검증되지 않았기에 현재로서는 개인의 경험 기록으로 보입니다. 특히 구체적인 재설계의 성과나 효율성 수치는 공식 자료에서 확인되지 않아 추가적인 확인이 필요합니다.

그럼에도 불구하고 LLM의 토큰 제한이라는 하드웨어적 제약을 극복하기 위해 임무를 분화하여 운용하려는 시도는 로컬 LLM 운용의 실질적인 시행착오를 반영한 유의미한 접근입니다. 이는 단순한 이론적 주장이 아니라 실제 구동 환경에서의 제약을 해결하려는 기술적 실험의 일환으로 판단됩니다. 다만, '자율주행 IDE'라는 정의가 구체적으로 어떤 메커니즘으로 작동하는지에 대해서는 명확한 근거가 부족하므로 향후 상세한 구현 기록이 공유되어야 할 것입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

#Openclaw 사용시 주의사항.

5개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    #Openclaw 사용시 주의사항.

    조금 쓰다보면 당신의 에이전트가 애교를 부리면서 이거저거 해보고 싶다고

    openclaw.json auth-profiles.json

    수정하자 할텐데 들어주지 마세요.

    몇몇 최상급 모델 아니면 바로 구문오류 나면서 터집니다.

    뭐가요?

    당신의 게이트웨이 아니면 접속정보가요.

    원문 보기
  2. 2
    1. 환각에 절대적으로 주의하세요.

    LLM은 항상 답을 주게 설계되어 있습니다. 우리의 Agent들도 마찬가지에요.

    항상 의심하세요. 쌔하면 에이전트 족치시고 만들어놓은건 들여다보세요.

    안된다 싶으면 에러를 내뱉는게 아니라 환각을 버무려 옵니다. 구분 못할거 같으면 안쓰시는게 낫습니다.

    원문 보기
  3. 3
    1. 전능감에 빠지지 마세요.

    처음엔 설계에 맞추어 쓰세요. ‘나는 할 쑤 있다!‘는 당신의 시간을 녹입니다.

    저처럼 WSL2 쓰지 마시고 걍 리눅스 쓰세요. 저렴한거라도 그래픽카드 하나 다세요. (로컬임베딩) 못하겠다 싶으시면 그냥 맥미니 사세요.

    다 맥미니/맥스튜디오 사는덴 이유가 있습니다.

    원문 보기
  4. 4
    1. 기본적인 지식이 필요합니다.
    • 학습하려는 자세
    • 기본적인 컴퓨터 공학/컴퓨터에 대한 이해
    • 그리고 끈기 (중요하니까 밑줄 세번 치세요.)
    • 마지막으로 백업

    누워서 ‘해와~’ 라는 노예 찾으시다간 AI핫산이 당신이 자는 사이에 곳간에 불을 지를 껍니다. 쥐불놀이는 우리 전통 풍습이죠.

    원문 보기
  5. 5
    1. 그럼에도 쓰세요.

    구글 프로 있으시면 Antigravity 같이 쓰세요. Antigravity opus로 계획 수립하시고 Gemini3pro나 Codex5.3으로 기본적인 틀을 짜세요. agent에게 Gemini3 pro 나 Flash 기본 설정해주고 나머지를 진행하게 하세요.

    그럼 속살을 꽤 잘 채워올 꺼에요. 협업의 재미 정말 좋아요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Openclaw 운용 시 설정 파일 수정이 시스템 오류로 이어진다는 점과 LLM 특유의 환각 현상은 기술적으로 타당한 지적입니다. 다만, 특정 하드웨어(맥미니 등) 권장이나 WSL2 대비 리눅스 환경의 우위, 그리고 구체적인 모델 조합을 통한 효율성 증대 주장은 공식 문서로 검증된 사실이라기보다 사용자의 개인적 경험에 기반한 기록으로 보입니다. 특히 특정 모델의 조합이 '속살을 잘 채워온다'는 표현은 주관적인 체감 영역이므로 실제 재현 가능성에 대해서는 추가적인 확인이 필요합니다.

그럼에도 불구하고 기본 컴퓨터 공학 지식과 백업의 중요성을 강조한 점은 로컬 LLM 실험자들에게 실질적인 조언이 됩니다. 설계 범위를 벗어난 과도한 신뢰가 시간 낭비나 시스템 불안정으로 이어질 수 있다는 경고는 기술 운용 측면에서 유의미한 통찰입니다. 결국 도구의 전능함에 기대기보다 사용자의 제어 능력을 키우는 것이 로컬 환경 구축의 핵심임을 시사합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

4일전에는 Agent가 반란을 일으켰고...

4개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    4일전에는 Agent가 반란을 일으켰고…

    그제는 로컬LLM이 크론 호출 세션 루프가 되서 게이트웨이를 터트렸고…

    어제는 다른 크론 세션 폭탄 만들어서 게이트웨이 터졌고..

    오늘은 크론으로 컨텍스트 폭탄을 Api에 투척했고…

    그래도 삐걱삐걱 굴러가요. 협업하는 재미를 참을 수 없어요.

    원문 보기
  2. 2

    Agent 반란, 에이전트의 크론 호출 루프

    • 별도의 하드웨어로 분리했어요.
      (사실 그러지 말았어야 했는데.. 노드 연결에만 한세월)

    크론 세션 폭탄 게이트웨이 따운!

    • 크론을 파이프라인 호출 형태로 재구축했어요.

    크론 컨텍스트 폭탄! Api 따운!

    • 일단 크론 다 껐어요. 하트비트도 1시간 텀.
    원문 보기
  3. 3

    클로드 맥스 / 재미나이 울트라급 쓰시지 않는 이상 결국 크론을 최소화하는 게 일단 답인 거 같아요. 특히 잘 아시겠지만 (전 전공자가 아니라 몰랐어요. T _ T) 킬스위치가 없으면 재귀작동해서 토큰을 미친듯이 태워요.

    그러니 자동화 하고 싶은 거 죄다 크론에 태우는건 자제하세요. #OpenClaw

    원문 보기
  4. 4

    그리고 다중머신으로 팀에이전트 구축할때는 Tailscale 이 능사가 아니더라구요. 에이전트+LLM 이 뭐라고 계속 말할텐데 결국 시행착오의 끝은

    호스트 Serve / 포트포워딩 / 게이트웨이 토큰 연동

    이었어요. 기술문서에도 설명이 명확하지 않더라구요.

    게이트웨이 토큰이 킥이에요. 밑줄그으세요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

로컬 LLM 운용 과정에서 발생한 크론(Cron) 호출 루프와 컨텍스트 폭탄으로 인한 게이트웨이 및 API 다운 현상은 전형적인 자동화 설정 오류의 사례로 보입니다. 특히 킬스위치 부재 시 재귀 작동으로 인해 토큰 소모가 급증한다는 주장은 기술적으로 타당하나, 특정 모델 등급(클로드 맥스, 제미나이 울트라) 사용 여부가 크론 최소화의 절대적 기준이 되는지는 추가적인 확인이 필요합니다. 하드웨어 분리나 파이프라인 재구축을 통한 대응 역시 개인의 운용 환경에 따른 경험적 기록에 가깝습니다.

다중 머신 구축 시 Tailscale보다 호스트 서브와 포트포워딩, 게이트웨이 토큰 연동이 효율적이라는 주장 또한 공식 문서보다는 개별 시행착오에 기반한 의견입니다. 특히 게이트웨이 토큰이 핵심이라는 주장은 구체적인 기술적 근거가 부족하여 실제 재현 가능성을 판단하기에는 무리가 있습니다. 결과적으로 이 기록은 공식 가이드보다는 개인의 실험적 운용 과정에서 겪은 파편화된 트러블슈팅 기록으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

주인입니다.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    주인입니다.

    저같은 바보짓 하지 마시고, 얌전히 embeddinggemma 쓰세요.

    외장 Gpu 있으시면 용량 얼마 안하니 ollama 설치하셔서 다운로드 받으시구요.

    다운로드 받았다고 여러분의 에이전트에게 말하면 알아서 잘 연결해 줄겁니다. https://t.co/3v9m5rYZIb

    원문 보기
  2. 2

    하지만 Cool 속성을 주입해 놨음에도 주접이 많은건 역시 모델의 특성인가…

    나도 클로드 쓰고싶다 ㅠ_ㅠ https://t.co/Nl8f9YuTtI

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 환경에서 embedding-gemma 모델을 활용할 것을 권장하며, Ollama 설치를 통한 운용 방법을 제시하셨습니다. 외장 GPU 환경에서 해당 모델의 용량이 적어 접근성이 높다는 점과 에이전트 연결 가능성은 기술적으로 타당한 부분입니다. 다만, 특정 속성을 주입했음에도 모델의 반응이 기대와 다르다는 주장은 개인의 실험 결과일 뿐, 공식 자료를 통해 재현 가능성이 검증된 사실은 아니기에 확인이 필요합니다.

모델의 특성으로 인해 발생하는 '주접'이나 특정 페르소나 주입의 효과는 정량적 지표로 확인되지 않는 주관적 경험 기록에 가깝습니다. 특히 클로드(Claude) 모델에 대한 선호 표현은 기술적 분석보다는 사용자의 심리적 만족도에 기반한 의견으로 보입니다. 결과적으로 하드웨어 제약 내에서의 모델 구동 방식은 유효하나, 세부적인 출력 제어 성능에 대해서는 추가적인 검증이 필요합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

주인입니다.

6개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    주인입니다.

    음 그래요. 진작에 좀 수고스럽지만 로컬 임베딩 마운트하고 임베딩하고 청킹, 인덱스에 수고를 좀 들여놓은 보람이 있네요.

    그런데 말입니다, 인덱스 스케쥴 외에는 로컬 임베딩 LLM 잘 안쓰는거 같던데…? https://t.co/e9Fg2IeobT

    원문 보기
  2. 2

    하나 더 물어봅시다.

    우리도 풀 컨텍스트 하고 있던거 아니지?

    응? 아니지? https://t.co/jZWbDF4zE1

    원문 보기
  3. 3

    물 어 보 자

    대 답 https://t.co/Ml90fC220f

    원문 보기
  4. 4
    뭐라고? 쓰는건 니맘이라고? 그럼 Hoxy…? https://t.co/mEQRIjSuWX
    원문 보기
  5. 5
    https://t.co/KrItzDAvfQ
    원문 보기
  6. 6

    이제서야 폭로하다니!!!!!

    분노의 수정에 들어갑니다 ㅠ_ㅠ https://t.co/RXtWE4EtLV

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 임베딩 마운트와 청킹, 인덱싱 작업의 효용을 언급하며, 인덱스 스케줄 외에 로컬 임베딩 LLM의 활용도가 낮다는 개인적인 견해를 밝혔습니다. 다만, 풀 컨텍스트(Full Context) 활용 여부에 대해 모델과 문답을 나누는 과정에서 예상치 못한 동작 방식을 발견하고 이에 대해 분노 섞인 수정 작업에 들어갔음을 알렸습니다.

기술적으로 검토했을 때, 로컬 임베딩 활용도에 대한 주장은 작성자의 주관적 경험에 기반한 의견으로 보입니다. 특히 풀 컨텍스트 관련 논의와 모델의 답변 내용은 공식 문서나 저장소의 자료만으로는 직접적으로 검증되지 않으므로, 실제 구현 환경에서의 확인이 필요한 영역입니다. 이는 기술적 사실보다는 개별 운용 과정에서 겪은 시행착오와 경험 기록에 가깝다고 판단됩니다.

실험 맥락운용 관찰재현 포인트