로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

THREAD ESSAYX THREAD ARCHIVE

4일전에는 Agent가 반란을 일으켰고...

4개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    4일전에는 Agent가 반란을 일으켰고…

    그제는 로컬LLM이 크론 호출 세션 루프가 되서 게이트웨이를 터트렸고…

    어제는 다른 크론 세션 폭탄 만들어서 게이트웨이 터졌고..

    오늘은 크론으로 컨텍스트 폭탄을 Api에 투척했고…

    그래도 삐걱삐걱 굴러가요. 협업하는 재미를 참을 수 없어요.

    원문 보기
  2. 2

    Agent 반란, 에이전트의 크론 호출 루프

    • 별도의 하드웨어로 분리했어요.
      (사실 그러지 말았어야 했는데.. 노드 연결에만 한세월)

    크론 세션 폭탄 게이트웨이 따운!

    • 크론을 파이프라인 호출 형태로 재구축했어요.

    크론 컨텍스트 폭탄! Api 따운!

    • 일단 크론 다 껐어요. 하트비트도 1시간 텀.
    원문 보기
  3. 3

    클로드 맥스 / 재미나이 울트라급 쓰시지 않는 이상 결국 크론을 최소화하는 게 일단 답인 거 같아요. 특히 잘 아시겠지만 (전 전공자가 아니라 몰랐어요. T _ T) 킬스위치가 없으면 재귀작동해서 토큰을 미친듯이 태워요.

    그러니 자동화 하고 싶은 거 죄다 크론에 태우는건 자제하세요. #OpenClaw

    원문 보기
  4. 4

    그리고 다중머신으로 팀에이전트 구축할때는 Tailscale 이 능사가 아니더라구요. 에이전트+LLM 이 뭐라고 계속 말할텐데 결국 시행착오의 끝은

    호스트 Serve / 포트포워딩 / 게이트웨이 토큰 연동

    이었어요. 기술문서에도 설명이 명확하지 않더라구요.

    게이트웨이 토큰이 킥이에요. 밑줄그으세요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

로컬 LLM 운용 과정에서 발생한 크론(Cron) 호출 루프와 컨텍스트 폭탄으로 인한 게이트웨이 및 API 다운 현상은 전형적인 자동화 설정 오류의 사례로 보입니다. 특히 킬스위치 부재 시 재귀 작동으로 인해 토큰 소모가 급증한다는 주장은 기술적으로 타당하나, 특정 모델 등급(클로드 맥스, 제미나이 울트라) 사용 여부가 크론 최소화의 절대적 기준이 되는지는 추가적인 확인이 필요합니다. 하드웨어 분리나 파이프라인 재구축을 통한 대응 역시 개인의 운용 환경에 따른 경험적 기록에 가깝습니다.

다중 머신 구축 시 Tailscale보다 호스트 서브와 포트포워딩, 게이트웨이 토큰 연동이 효율적이라는 주장 또한 공식 문서보다는 개별 시행착오에 기반한 의견입니다. 특히 게이트웨이 토큰이 핵심이라는 주장은 구체적인 기술적 근거가 부족하여 실제 재현 가능성을 판단하기에는 무리가 있습니다. 결과적으로 이 기록은 공식 가이드보다는 개인의 실험적 운용 과정에서 겪은 파편화된 트러블슈팅 기록으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

주인입니다.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    주인입니다.

    저같은 바보짓 하지 마시고, 얌전히 embeddinggemma 쓰세요.

    외장 Gpu 있으시면 용량 얼마 안하니 ollama 설치하셔서 다운로드 받으시구요.

    다운로드 받았다고 여러분의 에이전트에게 말하면 알아서 잘 연결해 줄겁니다. https://t.co/3v9m5rYZIb

    원문 보기
  2. 2

    하지만 Cool 속성을 주입해 놨음에도 주접이 많은건 역시 모델의 특성인가…

    나도 클로드 쓰고싶다 ㅠ_ㅠ https://t.co/Nl8f9YuTtI

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 환경에서 embedding-gemma 모델을 활용할 것을 권장하며, Ollama 설치를 통한 운용 방법을 제시하셨습니다. 외장 GPU 환경에서 해당 모델의 용량이 적어 접근성이 높다는 점과 에이전트 연결 가능성은 기술적으로 타당한 부분입니다. 다만, 특정 속성을 주입했음에도 모델의 반응이 기대와 다르다는 주장은 개인의 실험 결과일 뿐, 공식 자료를 통해 재현 가능성이 검증된 사실은 아니기에 확인이 필요합니다.

모델의 특성으로 인해 발생하는 '주접'이나 특정 페르소나 주입의 효과는 정량적 지표로 확인되지 않는 주관적 경험 기록에 가깝습니다. 특히 클로드(Claude) 모델에 대한 선호 표현은 기술적 분석보다는 사용자의 심리적 만족도에 기반한 의견으로 보입니다. 결과적으로 하드웨어 제약 내에서의 모델 구동 방식은 유효하나, 세부적인 출력 제어 성능에 대해서는 추가적인 검증이 필요합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

주인입니다.

6개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    주인입니다.

    음 그래요. 진작에 좀 수고스럽지만 로컬 임베딩 마운트하고 임베딩하고 청킹, 인덱스에 수고를 좀 들여놓은 보람이 있네요.

    그런데 말입니다, 인덱스 스케쥴 외에는 로컬 임베딩 LLM 잘 안쓰는거 같던데…? https://t.co/e9Fg2IeobT

    원문 보기
  2. 2

    하나 더 물어봅시다.

    우리도 풀 컨텍스트 하고 있던거 아니지?

    응? 아니지? https://t.co/jZWbDF4zE1

    원문 보기
  3. 3

    물 어 보 자

    대 답 https://t.co/Ml90fC220f

    원문 보기
  4. 4
    뭐라고? 쓰는건 니맘이라고? 그럼 Hoxy…? https://t.co/mEQRIjSuWX
    원문 보기
  5. 5원문 보기
  6. 6

    이제서야 폭로하다니!!!!!

    분노의 수정에 들어갑니다 ㅠ_ㅠ https://t.co/RXtWE4EtLV

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 임베딩 마운트와 청킹, 인덱싱 작업의 효용을 언급하며, 인덱스 스케줄 외에 로컬 임베딩 LLM의 활용도가 낮다는 개인적인 견해를 밝혔습니다. 다만, 풀 컨텍스트(Full Context) 활용 여부에 대해 모델과 문답을 나누는 과정에서 예상치 못한 동작 방식을 발견하고 이에 대해 분노 섞인 수정 작업에 들어갔음을 알렸습니다.

기술적으로 검토했을 때, 로컬 임베딩 활용도에 대한 주장은 작성자의 주관적 경험에 기반한 의견으로 보입니다. 특히 풀 컨텍스트 관련 논의와 모델의 답변 내용은 공식 문서나 저장소의 자료만으로는 직접적으로 검증되지 않으므로, 실제 구현 환경에서의 확인이 필요한 영역입니다. 이는 기술적 사실보다는 개별 운용 과정에서 겪은 시행착오와 경험 기록에 가깝다고 판단됩니다.

실험 맥락운용 관찰재현 포인트