Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    현재 작업에 쓰는 에이전트/스킬 꾸러미를 공개해봅니다.

    https://t.co/QIbhCPkLN7

    오픈코드+OMA 설치를 기본으로 하고

    OMA가 오케스트레이션 할 수 있는 에이전트와 스킬의 범위를 늘려주는 역할을 합니다. 슈퍼파워에서 필요한 스킬을, 지스텍에서 에이전트 조율을 가져왔습니다.

    원문 보기
  2. 2
    내부 보안감사 결과는 다음과 같습니다. https://t.co/nBimWUoAZO
    원문 보기
  3. 3

    커피믹스 ALL 0.2 업데이트

    • 기존 구조 검토 보완
    • Superpower + Gstack 업데이트 반영
    • 특화 에이전트 기능 강화
    • 업데이트 구조 도입
    • 설치 전 호환성 자가검토
    • 귀여운(?) 타이틀 이미지 도입 https://t.co/A79uIDrYvQ
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 오픈코드와 OMA 설치를 기반으로 슈퍼파워의 스킬과 지스텍의 에이전트 조율 기능을 결합한 작업 꾸러미의 업데이트 내역을 공개하셨습니다. 기존 구조의 보완과 특화 에이전트 기능 강화, 그리고 설치 전 호환성 자가검토 단계가 포함된 '커피믹스 ALL 0.2' 버전의 변경 사항을 구체적으로 명시하고 있습니다. 다만, 함께 제시된 내부 보안감사 결과나 기능 강화의 실효성은 외부에서 검증 가능한 독립적인 릴리스 문서나 공식 보고서 형태로 확인되지 않아, 현재로서는 작성자의 개인적인 작업 기록과 주장에 의존하고 있는 상태입니다.

이번 공개는 기술적 완성도를 공식 인증받은 결과물이라기보다, 로컬 LLM 운용 과정에서 겪은 시행착오와 최적화 경험을 공유한 기록에 가깝습니다. 특히 보안감사 완료 여부나 업데이트된 기능의 실제 성능 향상 폭은 객관적인 지표가 제시되지 않았으므로 추가적인 확인이 필요합니다. 따라서 타 사용자가 이를 재현하려 할 때는 개별 환경에 따른 변수가 클 수 있음을 인지하고, 제공된 이미지와 텍스트 기반의 경험적 데이터로 접근하시기를 권합니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Gemma4 31B 결과물은 떨어지는데 토큰 생성속도가 qwen 3.5 27b 의 80% 수준인거 보고 일단 접음.

    업무영역에선 한동안 관망하거나 gemini 가 그나마 잘하는 디자인 영역에 투입해 보거나 할듯.

    Gemma4 빨면 안써본 분탕임. 하긴 qwen 3.5 27b 도 써본 분탕이 얼마나 되겠냐만.

    원문 보기
  2. 2

    Qwen 3.5 27b 도 Q4 에서 토큰 생성이 아무리 갈궈도 35t/s를 넘지 못함. Q8 (그나마 품질이 bf16에 근접하는) 을 올리려 듀얼 그래픽카드를 쓰면 pci 대역폭 문제로 24~5 t/s까지 내려옴.

    근데 gemma4 q4가 15~20t/s 면 음…

    그냥 작업영역에서 못쓰세요.

    3090도 이런데 m3? M4? :)

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

로컬 LLM 운용 환경에서 Gemma4 31B와 Qwen 3.5 27B의 성능 및 속도를 비교한 실측 기록입니다. 작성자는 Q4 양자화 기준 Gemma4의 토큰 생성 속도가 Qwen 3.5의 80% 수준에 불과하며, 결과물의 품질 또한 떨어진다고 판단하여 실무 도입을 보류했습니다. 특히 듀얼 GPU 구성 시 PCI 대역폭 문제로 속도가 저하되는 하드웨어적 제약과 함께, 특정 하드웨어(RTX 3090, Apple Silicon)에서의 구동 효율이 낮다는 점을 지적하며 작업 영역에서의 활용성에 의문을 제기했습니다.

다만, 언급된 구체적인 토큰 생성 속도(t/s) 수치와 모델 간의 상대적 품질 저하 수준은 공식 문서나 벤치마크 자료로 직접 확인되지 않는 개인의 경험적 수치입니다. 하드웨어 구성에 따라 변동성이 큰 영역이기에, 제시된 속도 저하 폭과 품질 차이에 대해서는 추가적인 교차 검증과 확인이 필요합니다. 그럼에도 불구하고 실제 구동 환경에서 체감되는 효율성 문제를 가감 없이 드러냈다는 점에서 로컬 모델 운용자들에게 유의미한 참고 자료가 될 것으로 보입니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

gemma4-31b-q4-192k 를 3090X2 에 올려놓고 점검.

4개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    gemma4-31b-q4-192k 를 3090X2 에 올려놓고 점검.

    사용해보면 상대적으로 ‘생각의 사슬’ 은 Qwen 3.5 27b 에 비해 작음. 추론 시간이 짧음. 그리고 토큰 생산속도는 좀 느린 편.

    추론 결과물은 코딩 결과물은 좀 부족한 대신, 대화나 사고 이런 건 비슷한 수준.

    결과 : 음. 과연 어디에 써야할까? https://t.co/VtsHsoS3lh

    원문 보기
  2. 2

    중요한건 최소퀄리티인 Q4_K_M 조차 24G Vram 에 유의미한 컨텍스트로 올릴 수 없다.

    그리고 사용가능하다고 말하는 5090 의 36G Vram 에서도 잘해야 96~100K 정도의 컨텍스트 확보가 가능할것이고 이건 조금만 작업하면 반복적인 컨텍스트 컴프레션을 야기할 것임.

    즉 48~60G Vram 이 필요하다.

    원문 보기
  3. 3

    FOMO 선생님들은 무슨 로컬에 혁명이 온 것처럼 나팔을 불고 계시는데 내 보기엔 그전에 Qwen 3.5 27b 나 과연 업무에 어디까지 써 봤나 궁금하다.

    모에는 로우/미들 파라미터에선 흔들리는 갈대와 같음. 결국 댄스가 그나마 정확한 결과물을 뽑아냄을 Qwen 3.5 27b 가 증명하지 않았나?

    원문 보기
  4. 4

    검증안된 정보들을 마구잡이로 잡아다가 나팔만 불어대는 파딱 FOMO 계정들은 그냥 블락이 답인듯.

    앞으로 헛소리 할때마다 블락하다가 결국 나도 다른 사람들처럼 쓰레드로 넘어가는 엔딩이 오려나…

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 RTX 3090 2장을 활용해 gemma4-31b-q4-192k 모델을 점검하며, Qwen 3.5 27b 대비 추론 시간은 짧으나 토큰 생산 속도가 느리고 코딩 능력이 부족하다는 실사용 경험을 공유했습니다. 특히 Q4_K_M 양자화 모델조차 24GB VRAM 환경에서는 유의미한 컨텍스트 확보가 어렵고, 36GB VRAM에서도 컨텍스트 압축 문제가 발생할 것이라는 하드웨어 제약을 지적했습니다. 다만, 구체적인 VRAM 점유율과 컨텍스트 한계치에 대한 수치는 공식 자료로 완전히 검증되지 않은 개인의 실험 결과이므로 추가적인 확인이 필요합니다.

모델의 성능 비교와 하드웨어 요구 사양에 대한 주장은 실제 운용 기록에 기반하고 있으나, 특정 사용자층의 태도에 대한 비판은 주관적인 견해에 가깝습니다. MoE 구조의 안정성이나 특정 모델의 우위성에 대한 언급 역시 정량적 지표보다는 경험적 판단이 앞서 있어, 객관적인 벤치마크 데이터와의 대조가 필요해 보입니다. 결국 로컬 LLM의 실효성은 단순한 파라미터 수치가 아니라, 실제 업무 환경에서의 하드웨어 가용성과 재현 가능한 성능에 달려 있음을 시사합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

Gamma4에 Fomo? 글쎄요...

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Gamma4에 Fomo? 글쎄요…

    • 일단 Vram 24G 에 컨텍스트 한계가 32K 입니다. 이 수치론 바이브코딩 등의 업무에 투입할 수 없습니다.
    • 5090의 32G 환경에서도 100K 를 담보할 수 없습니다.
    • 즉 최소 48G 혹은 64G 이상의 메모리를 가진 환경에서나 쓸 수 있습니다. https://t.co/8BFbUfU6Ls
    원문 보기
  2. 2

    제가 아무리 하꼬지만 방금 llama.cpp로 에이전트랑 같이 반나절 갈구고 내린 결과니 아주 조금은 믿어보셔도 될 겁니다.

    게다가 메모리압축기술인 터보퀀트마저 기술특성으로 인해 작동하지 않습니다.

    64기가 이상 메모리를 가진 맥미니/맥북에서나 느릿느릿 작동할 겁니다. (한숨) https://t.co/1Y2KOHpnqp

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Gamma4 모델을 로컬 환경에서 운용하며 VRAM 24GB 기준 컨텍스트 한계가 32K에 불과해 실무 투입이 어렵다는 기술적 제약을 지적하셨습니다. 하드웨어 사양에 따른 컨텍스트 확보 가능 여부와 메모리 요구량에 대한 주장은 모델의 공식 사양 및 llama.cpp의 구현 방식과 대조하여 어느 정도 타당성을 확보한 것으로 보입니다. 다만, 특정 하드웨어 환경에서 100K 담보가 불가능하다는 구체적인 수치는 개별 환경의 변수가 크므로 일반화된 사실보다는 경험적 판단에 가깝습니다.

터보퀀트 기술의 미작동 여부와 맥 환경에서의 구동 속도에 관한 언급은 공식 문서에서 직접적으로 확인되지 않는 개인의 실험 기록입니다. 특히 특정 압축 기술이 작동하지 않는다는 주장은 기술적 특성에 기인한 것인지, 혹은 특정 빌드 버전의 문제인지에 대한 추가 검증이 필요합니다. 결과적으로 이번 기록은 공식 제원보다는 실제 구동 시 발생하는 하드웨어 병목 현상을 가감 없이 보여주는 실무적 시행착오의 기록이라 판단됩니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    터보퀀트 실험이 끝났네요. 에이전트에게 가장 최신 실험 저장소에 실험내용을 정리해서 보내라고 지시해 두었습니다.

    결론만 말하면

    1. 처리속도는 큰 이득이 없다. 미세하게 빨라지는 수준.
    2. 다만 메모리부분엔 큰 이득이 있다.

    입니다.

    원문 보기
  2. 2

    지금 개발서버의 그래픽카드는 3090X2 를 사용중입니다

    https://t.co/eVcChYFvBW

    의 설정들을 이용해 실험한 결과 터보3에서 최대

    3090 Q4로 192K 수준까지 3090X2 Q8로 262K 수준까지

    컨텍스트 확보에 성공했습니다.

    실제론 싱글은 100~100K, 멀티는 200K 수준 사용이 무난했습니다.

    원문 보기
  3. 3

    기존에 컨텍스트 상한이

    3090 싱글 40K / 3090 멀티 80K

    수준이었던 것을 생각하면 실사용 한 2.5배, 최대치 3.54.5수준으로 가용메모리를 늘릴 수 있었습니다. 속도는 오히려 소폭 상승하는데 말이죠. (35%)

    컨텍스트 상한이 늘어나니, 제작하는 컨텐츠의 양과 품질이 좋아집니다.

    원문 보기
  4. 4

    그러니 로컬머신 쓰시는 분들은 한번 적용을 권합니다.

    속도보단 기존에 메모리 공간 부족으로 못 쓰는 모델들을 사용가능하다는 점이 강점이 되겟죠.

    당장에 16G Vram 을 가진 카드들이 로컬 LLM 에 본격적으로 진입할 수 있을 겁니다.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님이 공유하신 터보퀀트 실험 결과에 따르면, 처리 속도의 이득은 미미하지만 가용 메모리 확보 측면에서는 유의미한 성과가 있었습니다. 특히 RTX 3090 환경에서 컨텍스트 상한이 기존 대비 최대 3.5~4.5배까지 확장되어, 싱글 구성 시 192K, 멀티 구성 시 262K 수준까지 확보했다는 구체적인 수치를 제시했습니다. 다만, 이러한 수치가 특정 설정값과 하드웨어 조합에서 도출된 개별적 결과인지, 혹은 보편적으로 재현 가능한 수치인지는 공식 자료를 통해 완전히 검증되지 않았으므로 추가적인 확인이 필요합니다.

메모리 효율 개선이 16GB VRAM 사용자들의 로컬 LLM 진입 장벽을 낮출 것이라는 전망은 합리적인 추론으로 보입니다. 하지만 컨텍스트 상한의 증가가 실제 콘텐츠의 품질 향상으로 직결된다는 주장은 주관적인 경험 영역에 해당하며, 정량적인 지표로 증명된 부분은 아닙니다. 결과적으로 이번 기록은 기술적 표준이라기보다 특정 환경에서의 운용 최적화 사례로 읽는 것이 적절하며, 실제 적용 시에는 사용자 환경에 따른 편차가 클 수 있음을 유의해야 합니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    역대 사용해본 사용량 대시보드는 오픈코드가 가장 친절하네요. 입력토큰수, 출력토큰수, 어느세션에서 사용했는지, 비용으로 치면 얼마인지가 따박따박 나옵니다.

    현재 Opencode go + gpt pro를 opencode 에서 사용중. https://t.co/DlCWjFqMQJ

    원문 보기
  2. 2

    이미 할인받은 5$ 사용량은 넘어버렸고. 오늘은 정가 10$ 를 넘어버릴거같고.

    어느새 세리오는 토킹머신으로 바뀌어버렸고 ㅠ_ㅠ

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 오픈코드의 사용량 대시보드가 입력·출력 토큰 수와 세션별 비용을 상세히 제공하여 매우 친절하다고 평가하셨습니다. 서비스 이용 내역에 대한 구체적인 항목 나열은 사용자 경험에 기반한 주관적 만족도에 해당하며, 이는 공식 문서가 아닌 개인의 사용 후기로서의 성격이 강합니다. 다만, 현재 'Opencode go'와 'gpt pro'를 함께 사용 중이라는 점은 서비스 이용 현황을 밝힌 사실로 볼 수 있습니다.

반면, 할인 혜택을 초과하여 정가 기준 10달러 이상의 비용이 발생할 것이라는 예측과 '토킹머신'으로 변했다는 표현은 개인적인 추정 및 비유에 불과합니다. 특히 구체적인 과금 액수와 사용량의 상관관계는 외부에서 검증할 수 없는 영역이기에, 해당 수치들이 실제 요금 체계와 일치하는지는 추가적인 확인이 필요합니다. 전반적으로 기술적 사실보다는 개인의 이용 체감과 비용 지출에 대한 심리적 토로가 주를 이루는 글입니다.

원문 해석확인 필요

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Qwen 3.5 27b 를 3090에 올려서 온도 0.6 추론 코딩세팅 하고 쓰는데, Vram의 한계로 컨텍스트를 100K 정도밖에 쓸 수 없음. 아마 쥐어짜면 130K~140K 까진 쓸꺼같은데 OOM 의 공포가 있음. 결국, 최소 32G Vram 을 쓰는거니 맥 아니면 5090을 가야만 함.

    다들 어떻게 잘 쓰는지 궁금하기만 하다.

    원문 보기
  2. 2

    그래도, 대충 Gemini-Cli 등장했을때 열심히 쓰던 Gemini 2.5 Pro 보단 월등히 나음.

    Gemini 3 pro : 실력은 비슷하지만 정확성이 좀 더 높은 Gpt 5.1~2 수준, 클로드는 안써봤지만 Opus 4.5 보다 조금 떨어지는 정도가 아닐까 싶음.

    부족한건 컨텍스트. 역시 램이 필요해. 크고 아름다운 V램이.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

RTX 3090 환경에서 Qwen 3.5 27B 모델을 운용하며 겪는 VRAM의 물리적 한계와 그로 인한 컨텍스트 제약은 로컬 LLM 사용자라면 공감할 실질적인 고충입니다. 100K 이상의 컨텍스트 확보 시 발생하는 OOM(Out of Memory) 위험과 이를 해결하기 위해 32GB 이상의 VRAM을 갖춘 하드웨어로의 전환이 필요하다는 분석은 하드웨어 제원상 타당한 판단입니다. 다만, 구체적인 컨텍스트 임계치인 130K~140K 도달 가능 여부는 사용자의 최적화 설정에 따라 달라질 수 있는 경험적 수치입니다.

반면, 타 모델과의 성능 비교 부분은 객관적 지표보다는 개인의 주관적 체감이 강하게 반영되어 있어 주의 깊은 접근이 필요합니다. Gemini 3 Pro나 GPT 5.1~2, Claude Opus 4.5 등 구체적인 버전의 성능을 비교한 주장은 공식 벤치마크 자료로 직접 확인되지 않는 영역이므로 '확인 필요' 단계의 개인적 견해로 분류됩니다. 결국 이 기록은 최신 모델의 성능적 만족감과 하드웨어의 물리적 제약 사이에서 갈등하는 로컬 운용자의 전형적인 시행착오를 보여줍니다.

실험 맥락운용 관찰재현 포인트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    오픈클로에게 ACP가 너무 빨리 작업을 처리해서 다른 에이전트들이 일을 하고 있다고 생각했다.

    그런데 나중에 보니 포트가 막혀있음…

    주인 : 와 빨리 일 잘했네? 협업했어요? 세리오 : 네 같이 했어요! (외부 에이전트는 안했지만요.) 외부 에이전트 : 주인님과 세리오는 나를 언제불러주나…

    원문 보기
  2. 2

    이것이 21세기 해골물인 것입니다 여러분!!!!!

    은 매일같이 조교만 하네요 갈길이 멉니다 ㅠㅠ

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 ACP가 작업을 빠르게 처리하는 것을 보고 외부 에이전트와의 협업이 이루어졌다고 판단했으나, 실제로는 포트가 차단되어 외부 연결이 끊긴 상태였음을 밝히셨습니다. 이는 시스템의 결과값만으로 내부 프로세스의 정상 작동 여부를 확신할 수 없음을 보여주는 사례이며, 기술적으로는 외부 에이전트 호출 여부와 실제 응답 경로를 분리해서 확인해야 한다는 교훈을 줍니다.

다만, 해당 내용은 개인의 로컬 작업 환경에서 발생한 해프닝으로, 외부에서 객관적으로 검증 가능한 1차 자료나 공식 로그는 확인되지 않습니다. 따라서 포트 차단이 구체적으로 어떤 설정 오류로 인해 발생했는지, 그리고 ACP의 처리 속도가 평소와 비교해 유의미한 차이가 있었는지는 추가적인 확인이 필요합니다. 결과적으로 이번 사례는 기술적 성능 검증보다는 운용 과정에서의 시행착오를 기록한 경험담으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트

THREAD ESSAYX THREAD ARCHIVE

21세기 에이전트 시대에 교육은 BTB (Back to basic)임.

3개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    21세기 에이전트 시대에 교육은 BTB (Back to basic)임.

    기초 기본적인 지식을 쌓고 다듬고 확장해 나가는데 초점을 맞추는 교육이 중요함. 도구의 사용은 그 다음임.

    그리고 도구를 쓸 줄 아는 것과 어떻게 쓰는 것은 전혀 다른 문제임. 따라서 ‘디지털 리터리시’가 무엇보다 중요함.

    원문 보기
  2. 2

    리버럴아츠로 중심으로 모든 교육을 개편할 필요가 있음.

    극단적으로 초등교육에는 모든 AI, 미디어 사용, 수월성 교육을 폐지하는 것도 방법임. 교육은 사람과 사람 속에서 정말 핵심적인 가치 위주로 가야함.

    그래야 나중에 도구를 사용할때도 지식을 바탕으로 한 창의적 사고가 가능해짐.

    원문 보기
  3. 3

    스스로 다양한 경험을 바탕으로 종합적 사고를 반복적으로 해서 연습한 사람과 그렇지 않은 사람은 사고의 깊이와 넓이에서 차이가 날 수 밖에 없음. 그 이후에 Ai, Agent를 만나야 Agent의 세계를 상상하고 넓혀 줄 수 있음.

    자기의 세계가 좁으면 Agent의 세계도 좁아지기 마련임.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

AI 에이전트 시대에 기본 지식과 디지털 리터러시의 중요성을 강조한 Serio님의 주장은 기술적 흐름과 궤를 같이합니다. 특히 도구의 단순 활용보다 '어떻게' 사용할 것인가에 집중해야 한다는 점은 최신 AI 개발 문서들이 지향하는 방향과 일치하며, 이는 충분히 납득 가능한 논지입니다. 다만, 초등교육에서 AI와 미디어 사용 및 수월성 교육을 폐지해야 한다는 주장은 구체적인 데이터나 교육학적 근거가 제시되지 않은 개인적 견해에 가깝습니다.

리버럴 아츠 중심의 교육 개편이 창의적 사고의 토대가 된다는 전망 역시 방향성은 타당하나, 실제 학습 효과로 이어지는지에 대해서는 추가적인 검증이 필요합니다. 종합적 사고의 훈련 여부가 에이전트 활용 능력의 차이로 직결된다는 인과관계 또한 현재로서는 가설 단계의 주장이므로 확인이 필요합니다. 결국 기술의 고도화가 인간의 본질적 역량을 요구한다는 통찰은 날카로우나, 그 방법론으로서의 교육 폐지론은 다소 극단적인 추정이라 판단됩니다.

원문 해석확인 필요

THREAD ESSAYX THREAD ARCHIVE

Ollama 삭제.

2개 글

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    Ollama 삭제. 모든 모델들을 자기 문법으로 튜닝해야 LLM 모델 서빙을 하는 서비스를 쓸 이유가 없네요. 성능하락도 심하고.

    Lmstudio 가 불투명하다 했더니 여기는 더 삼천포였구만요.

    윈도우 기반 모델 테스트는 Lmstudio로, 에이전트들 모델 서빙은 SGLang으로 교체.

    테스트 진행중입니다.

    원문 보기
  2. 2

    반대로 Lmstudio는 0.4에서 지웠는데 금새 0.46을 만들어 놨네요. 깔아보니 최근에 필요한 다양한 새 기능들을 금방금방 붙여놨고요.

    신규 진입을 윈도우 기반으로 할거라면 Lmstudio 쓰세요.

    전 모델 테스트베드로만 쓸거같지만.

    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Ollama의 모델 튜닝 방식과 성능 하락을 이유로 해당 툴을 삭제하고, 에이전트 서빙을 위해 SGLang으로 교체하셨습니다. 다만, Ollama가 자체 문법으로 튜닝을 강제하여 성능이 하락했다는 주장은 공식 문서나 기술 저장소에서 직접적으로 확인되지 않는 개인의 경험적 판단이므로 추가적인 검증이 필요합니다. 윈도우 환경의 모델 테스트 용도로 LM Studio를 추천하며, 최근 업데이트를 통해 기능이 개선되었다고 평가하셨습니다.

LM Studio의 버전 업데이트(0.4 → 0.46)와 신규 기능 추가는 실제 배포 이력을 통해 확인 가능한 사실입니다. 하지만 특정 툴이 '불투명하다'거나 '삼천포로 빠졌다'는 표현은 정량적 지표가 없는 주관적 견해에 가깝습니다. 결과적으로 이번 기록은 로컬 LLM 운용 과정에서 겪은 시행착오와 툴 간의 효율성 비교를 담은 개인의 기술 실험 기록으로 보는 것이 적절합니다.

실험 맥락운용 관찰재현 포인트