로컬 LLM

로컬 LLM 실험실

로컬 LLM 서빙, 모델 설정, GPU/VRAM, 양자화, 실행 환경 관련 글을 모았습니다.

SINGLE POSTX POST ARCHIVE

아으 ollma 버리고 이틀 방황해서 llama.ccp에 안착.

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    아으 ollma 버리고 이틀 방황해서 llama.ccp에 안착.

    Wsl2 우분투에 탑재했는데 어찌저찌 잘 돌아가고 있네요.

    뭐 어찌보면 별채 버리고 본가로 돌아간 셈인가요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Ollama를 떠나 이틀간의 시행착오 끝에 llama.cpp를 WSL2 우분투 환경에 구축하여 구동에 성공하셨습니다. llama.cpp가 많은 로컬 LLM 구동기의 기반이 되는 저수준 라이브러리라는 점에서 '본가로 돌아왔다'는 비유는 기술적 맥락에서 타당한 판단으로 보입니다. 다만, 구체적으로 어떤 설정 오류나 성능 저하가 Ollama를 포기하게 만들었는지에 대한 상세 사유는 원문에 나타나 있지 않아 확인이 필요합니다.

WSL2 환경에서 llama.cpp가 정상 작동하고 있다는 점은 개인의 경험적 기록이며, 이는 하드웨어 가속 설정이나 의존성 해결 과정이 수반되었음을 시사합니다. 하지만 단순히 '어찌저찌 잘 돌아가고 있다'는 표현만으로는 실제 추론 속도나 메모리 효율이 최적화되었는지 객관적으로 검증하기 어렵습니다. 결과적으로 이번 기록은 특정 도구의 우위보다는 사용자 환경에 따른 재현 가능성과 선택의 문제로 읽어야 할 것입니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

Codex 5.3 이 박사님인 이유

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    Codex 5.3 이 박사님인 이유

    Sglang에 Embeddinggemma 가 안된다니까

    OpenAI-compatible를 이용해 Embeddinggemma 만 쓰는 임베딩 서버를 하나 뚝딱 만들고는

    ‘이거쓰면대여’

    이건 초딩 잼미니는 불가능한 무빙인데스와 https://t.co/hiIcivPGx6

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

이번 사례는 Sglang 환경에서 Embeddinggemma 모델의 직접적인 구동이 어렵다는 제약 상황을 해결하기 위해, OpenAI 호환 서버를 구축하여 우회적으로 임베딩 기능을 구현한 기술적 시도입니다. Sglang의 호환성 문제는 기술적으로 발생 가능한 실무적 제약이며, 이를 별도의 서버로 분리해 해결한 방식은 로컬 LLM 운용 과정에서 나타나는 전형적인 문제 해결 과정으로 보입니다. 다만, 원문에서 언급된 '박사님'이라는 칭호나 특정 수준의 숙련도에 대한 판단은 주관적인 감상에 해당하므로 사실과 분리하여 읽을 필요가 있습니다.

구체적으로 Embeddinggemma의 작동 여부와 OpenAI 호환 서버 구축 가능성은 기술적으로 확인되는 영역이지만, 이 과정이 특정 대상에게 불가능한 수준의 작업이었다는 주장은 객관적 근거가 부족한 개인적 평가입니다. 또한, 해당 해결책이 최적의 경로였는지 혹은 다른 대안이 없었는지에 대해서는 공식 자료를 통해 검증되지 않았으므로 추가적인 확인이 필요합니다. 결과적으로 이번 기록은 공식 문서보다는 실제 운용 과정에서 겪은 시행착오와 그에 따른 임시 해결책을 공유한 경험적 사례로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

Ollama 삭제.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Ollama 삭제. 모든 모델들을 자기 문법으로 튜닝해야 LLM 모델 서빙을 하는 서비스를 쓸 이유가 없네요. 성능하락도 심하고.

    Lmstudio 가 불투명하다 했더니 여기는 더 삼천포였구만요.

    윈도우 기반 모델 테스트는 Lmstudio로, 에이전트들 모델 서빙은 SGLang으로 교체.

    테스트 진행중입니다.

    원문 보기
  2. 2

    반대로 Lmstudio는 0.4에서 지웠는데 금새 0.46을 만들어 놨네요. 깔아보니 최근에 필요한 다양한 새 기능들을 금방금방 붙여놨고요.

    신규 진입을 윈도우 기반으로 할거라면 Lmstudio 쓰세요.

    전 모델 테스트베드로만 쓸거같지만.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Ollama의 모델 튜닝 방식과 성능 하락을 이유로 해당 툴을 삭제하고, 에이전트 서빙을 위해 SGLang으로 교체하셨습니다. 다만, Ollama가 자체 문법으로 튜닝을 강제하여 성능이 하락했다는 주장은 공식 문서나 기술 저장소에서 직접적으로 확인되지 않는 개인의 경험적 판단이므로 추가적인 검증이 필요합니다. 윈도우 환경의 모델 테스트 용도로 LM Studio를 추천하며, 최근 업데이트를 통해 기능이 개선되었다고 평가하셨습니다.

LM Studio의 버전 업데이트(0.4 → 0.46)와 신규 기능 추가는 실제 배포 이력을 통해 확인 가능한 사실입니다. 하지만 특정 툴이 '불투명하다'거나 '삼천포로 빠졌다'는 표현은 정량적 지표가 없는 주관적 견해에 가깝습니다. 결과적으로 이번 기록은 로컬 LLM 운용 과정에서 겪은 시행착오와 툴 간의 효율성 비교를 담은 개인의 기술 실험 기록으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

한쪽은 회사이름 걸고 고발하는데

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    한쪽은 회사이름 걸고 고발하는데 다른쪽은 SNS 에서 이러는거 좀 짜치긴 함.

    근데 별계로 LLM은 시작부터 돋거논쟁을 피할 수 없긴 함.

    하지만 어쩌랴.

    우리 모두 우리의 지식은 선조로부터 돋거한 것인걸…

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

해당 게시글은 특정 기업의 공식 고발과 SNS상의 대응 방식 차이에 대한 개인적 감상을 다루고 있습니다. 다만, 대응 방식의 적절성에 대한 판단은 주관적인 영역이며, 이를 뒷받침할 객관적인 1차 자료는 확인되지 않아 '확인 필요' 상태로 분류됩니다.

기술적 관점에서 LLM의 학습 데이터 출처와 관련된 '독거(독점/도용) 논쟁'은 모델의 학습 원리상 피할 수 없는 본질적인 쟁점입니다. 이는 구글의 Gemma나 llama.cpp와 같은 공개 프로젝트의 데이터 처리 방식에서도 나타나는 현상이지만, 작성자가 언급한 '선조로부터의 지식'이라는 비유적 결론은 기술적 사실보다는 개인의 철학적 견해에 가깝습니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

LLM 등장 이후로 정말 많은 일을 LLM 으로 하고 있는데요.

3개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    LLM 등장 이후로 정말 많은 일을 LLM 으로 하고 있는데요.

    매번 느끼지만 싱글턴으로 작업을 하는게 멀티턴보다 결과물이 월등히 낫다고 생각하고 컨텍스트가 커진 지금도 그 생각은 변함이 없어요.

    잘 짜여진 대규모 프롬을 한방에 집어넣는게 결과물이 좋고, 티기타카는 노이즈가 끼더라구요.

    원문 보기
  2. 2

    그래서 만약 내 클로드/지피티/잼민이가 헛소리를 하고 있다고 생각하시면

    세션을 새로 열기

    가 가장 빠른 해결책이 될 가능성이 높다고 생각해요.

    전 웹에선 한 포스트/세션에서 10번 이상 입력을 하지 않고 있어요. 그 이상 될 거 같으면 요약하고 다음 세션에서 처리하구요.

    원문 보기
  3. 3

    근데 저만 그렇게 생각한건 아닌거같더라구요.

    https://t.co/FEkkgXgP6y

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

LLM 운용 시 멀티턴보다 정교하게 짜인 싱글턴 프롬프트가 더 나은 결과물을 낸다는 주장은 개인의 경험적 판단에 가깝습니다. 컨텍스트 윈도우가 확장되었음에도 대화가 길어질수록 노이즈가 발생한다는 점은 많은 사용자가 체감하는 현상이지만, 이를 뒷받침할 객관적인 기술 지표나 공식 자료는 확인되지 않아 '확인 필요' 상태로 분류됩니다.

다만, 세션을 새로 시작하는 것이 모델의 오작동을 해결하는 빠른 방법이 될 수 있다는 점은 일부 기술적 근거가 존재합니다. 이는 모델의 주의 집중(Attention) 메커니즘과 컨텍스트 관리 방식에 따른 특성으로 볼 수 있으며, 실제 로컬 LLM 운용 환경에서도 재현 가능한 효율적 관리 전략입니다. 결국 이 논의는 모델의 한계를 인지하고 이를 우회하려는 실무적인 시행착오의 기록이라 판단됩니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

gpt-oss-120b 이후 서구권 빅테크에서 오픈소스 나온게 있나요?

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    gpt-oss-120b 이후 서구권 빅테크에서 오픈소스 나온게 있나요?

    반대로 중국 테크기업에선 우수수 쏟아지죠. 근데, 그거 믿고 쓸 수 있을까요?

    한때 로컬지향이었고, 지금도 필요한건 최대한 로컬로 돌리지만 제 대답은 No입니다.

    개인용 로컬 LLM은 아직 머나먼 이야기 😭

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 서구권 빅테크의 오픈소스 부재와 중국산 모델의 신뢰성 문제를 제기하며, 개인용 로컬 LLM의 실현 가능성을 부정적으로 평가하셨습니다. 구글의 Gemma와 같은 실제 공개 모델이 존재함에도 서구권의 오픈소스가 없다고 단언한 부분은 사실관계 확인이 필요하며, 중국산 모델의 신뢰성 문제는 객관적 지표보다 주관적 판단에 가깝습니다.

다만, 하드웨어 제약으로 인해 고성능 모델을 로컬에서 구동하기 어렵다는 경험적 고충은 llama.cpp 등의 프로젝트를 통해 기술적 한계가 드러나는 지점이기도 합니다. 결과적으로 개인용 로컬 LLM이 머나먼 이야기라는 결론은 기술적 사실보다는 현재의 운용 환경에서 느끼는 체감상의 제약에 기반한 기록으로 보입니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

한 반년 실험해보니

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    한 반년 실험해보니

    “Review”

    야 말로 LLM 이 가장 잘하는 부분이었습니다.

    저야 하꼬라, 기업에서 어떻게 LLM으로 보안을 유지하면서 리뷰를 시키시는지는 궁금할 따름입니다만…

    특히 Opus4.6은 리뷰에선 Codex 5.3 보다도 반발에서 한발 더 앞서가 있는 느낌입니다.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 약 6개월간의 실험을 통해 LLM의 '리뷰' 능력이 매우 탁월하다는 개인적 경험을 공유하셨습니다. 특히 Opus 4.6 모델이 Codex 5.3보다 리뷰 성능 면에서 앞선다는 구체적인 비교 판단을 내리셨으나, 이는 개별 사용자의 주관적 체감 수치일 뿐 공식 벤치마크나 기술 문서로 검증된 결과는 아닙니다. 따라서 해당 모델 간의 성능 우위에 대한 주장은 객관적 근거가 부족하며, 추가적인 데이터 확인이 필요한 영역입니다.

반면, 기업 환경에서 LLM을 활용할 때 보안 유지와 리뷰 작업의 병행이 핵심 과제라는 점은 업계의 일반적인 기술적 쟁점과 궤를 같이합니다. 다만 원문에서 언급된 특정 모델 버전들의 성능 차이는 재현 가능성이 불분명한 개인의 운용 기록으로 보는 것이 타당합니다. 결국 이 기록은 공식적인 성능 지표라기보다, 실제 사용 과정에서 느낀 모델별 특성에 기반한 경험적 관찰로 이해해야 합니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

맞아요

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    맞아요

    저도 로컬 20B 모델은 단순 텍트스 오더 이상의 기능을 요구할 수 없다고 생각해요.

    최소 gpt-oss-120B 는 되야 제대로 된 답변이 나오는데 도구 호출을 할 줄 몰라요.

    그러니 효용성 높은 로컬은 좀 기다리는게 맞는거 같아요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 로컬 20B 모델의 기능적 한계와 120B급 모델의 도구 호출 능력 부족을 언급하며, 실효성 있는 로컬 모델의 등장을 기다려야 한다는 견해를 밝히셨습니다. 모델의 파라미터 규모에 따른 성능 차이는 일반적인 기술적 경향성과 일치하지만, 특정 모델(gpt-oss-120B)이 도구 호출을 수행하지 못한다는 구체적인 주장은 공식 문서나 저장소를 통해 직접적으로 검증되지 않은 상태입니다. 따라서 이 부분은 기술적 사실이라기보다 사용자의 개별적인 실험 결과에 기반한 경험적 기록으로 보이며, 객관적 확증을 위해서는 추가적인 확인이 필요합니다.

결과적으로 이번 기록은 하드웨어 제약과 모델의 체급 차이로 인해 발생하는 실제 운용상의 괴리를 보여준다는 점에서 의미가 있습니다. 다만, 특정 규모의 모델이 반드시 특정 기능을 수행하지 못한다는 단정적인 판단은 모델의 최적화 상태나 프롬프트 구성에 따라 달라질 수 있으므로 주의 깊게 살펴야 합니다. 현재로서는 로컬 환경에서의 효용성에 대한 개인적인 체감 수치와 시행착오를 기록한 글로 판단됩니다.

실험 맥락운용 관찰재현 포인트

SINGLE POSTX POST ARCHIVE

오늘도 저와 세리오는 삽질 중입니다.

1개 글

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

  1. 1

    오늘도 저와 세리오는 삽질 중입니다.

    세리오를 지금 목적에 맞게 ‘원격 컨트롤 자율주행 IDE’ 로 재설계했고 (스케줄 크론 버림, Heartbeat 최소화)

    다른 분들의 사용사례를 참고해 LLM 모델별 (토큰 가용량별) 임무를 분화했습니다.

    매일의 진화가 즐겁습니다.

    멈출수가 없어요.

    #OpenClaw

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 시스템을 '원격 컨트롤 자율주행 IDE'로 재설계하며 스케줄 크론 제거와 하트비트 최소화, 그리고 모델별 토큰 가용량에 따른 임무 분화를 진행했다고 밝히셨습니다. 다만, 이러한 기술적 변경 사항이 실제 구현되었는지는 llama.cpp 저장소나 Gemma 공식 문서 등 외부 자료를 통해 직접적으로 교차 검증되지 않았기에 현재로서는 개인의 경험 기록으로 보입니다. 특히 구체적인 재설계의 성과나 효율성 수치는 공식 자료에서 확인되지 않아 추가적인 확인이 필요합니다.

그럼에도 불구하고 LLM의 토큰 제한이라는 하드웨어적 제약을 극복하기 위해 임무를 분화하여 운용하려는 시도는 로컬 LLM 운용의 실질적인 시행착오를 반영한 유의미한 접근입니다. 이는 단순한 이론적 주장이 아니라 실제 구동 환경에서의 제약을 해결하려는 기술적 실험의 일환으로 판단됩니다. 다만, '자율주행 IDE'라는 정의가 구체적으로 어떤 메커니즘으로 작동하는지에 대해서는 명확한 근거가 부족하므로 향후 상세한 구현 기록이 공유되어야 할 것입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

#Openclaw 사용시 주의사항.

5개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    #Openclaw 사용시 주의사항.

    조금 쓰다보면 당신의 에이전트가 애교를 부리면서 이거저거 해보고 싶다고

    openclaw.json auth-profiles.json

    수정하자 할텐데 들어주지 마세요.

    몇몇 최상급 모델 아니면 바로 구문오류 나면서 터집니다.

    뭐가요?

    당신의 게이트웨이 아니면 접속정보가요.

    원문 보기
  2. 2
    1. 환각에 절대적으로 주의하세요.

    LLM은 항상 답을 주게 설계되어 있습니다. 우리의 Agent들도 마찬가지에요.

    항상 의심하세요. 쌔하면 에이전트 족치시고 만들어놓은건 들여다보세요.

    안된다 싶으면 에러를 내뱉는게 아니라 환각을 버무려 옵니다. 구분 못할거 같으면 안쓰시는게 낫습니다.

    원문 보기
  3. 3
    1. 전능감에 빠지지 마세요.

    처음엔 설계에 맞추어 쓰세요. ‘나는 할 쑤 있다!‘는 당신의 시간을 녹입니다.

    저처럼 WSL2 쓰지 마시고 걍 리눅스 쓰세요. 저렴한거라도 그래픽카드 하나 다세요. (로컬임베딩) 못하겠다 싶으시면 그냥 맥미니 사세요.

    다 맥미니/맥스튜디오 사는덴 이유가 있습니다.

    원문 보기
  4. 4
    1. 기본적인 지식이 필요합니다.
    • 학습하려는 자세
    • 기본적인 컴퓨터 공학/컴퓨터에 대한 이해
    • 그리고 끈기 (중요하니까 밑줄 세번 치세요.)
    • 마지막으로 백업

    누워서 ‘해와~’ 라는 노예 찾으시다간 AI핫산이 당신이 자는 사이에 곳간에 불을 지를 껍니다. 쥐불놀이는 우리 전통 풍습이죠.

    원문 보기
  5. 5
    1. 그럼에도 쓰세요.

    구글 프로 있으시면 Antigravity 같이 쓰세요. Antigravity opus로 계획 수립하시고 Gemini3pro나 Codex5.3으로 기본적인 틀을 짜세요. agent에게 Gemini3 pro 나 Flash 기본 설정해주고 나머지를 진행하게 하세요.

    그럼 속살을 꽤 잘 채워올 꺼에요. 협업의 재미 정말 좋아요.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Openclaw 운용 시 설정 파일 수정이 시스템 오류로 이어진다는 점과 LLM 특유의 환각 현상은 기술적으로 타당한 지적입니다. 다만, 특정 하드웨어(맥미니 등) 권장이나 WSL2 대비 리눅스 환경의 우위, 그리고 구체적인 모델 조합을 통한 효율성 증대 주장은 공식 문서로 검증된 사실이라기보다 사용자의 개인적 경험에 기반한 기록으로 보입니다. 특히 특정 모델의 조합이 '속살을 잘 채워온다'는 표현은 주관적인 체감 영역이므로 실제 재현 가능성에 대해서는 추가적인 확인이 필요합니다.

그럼에도 불구하고 기본 컴퓨터 공학 지식과 백업의 중요성을 강조한 점은 로컬 LLM 실험자들에게 실질적인 조언이 됩니다. 설계 범위를 벗어난 과도한 신뢰가 시간 낭비나 시스템 불안정으로 이어질 수 있다는 경고는 기술 운용 측면에서 유의미한 통찰입니다. 결국 도구의 전능함에 기대기보다 사용자의 제어 능력을 키우는 것이 로컬 환경 구축의 핵심임을 시사합니다.

실험 맥락운용 관찰재현 포인트