Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
Ollama 삭제. 모든 모델들을 자기 문법으로 튜닝해야 LLM 모델 서빙을 하는 서비스를 쓸 이유가 없네요. 성능하락도 심하고.
Lmstudio 가 불투명하다 했더니 여기는 더 삼천포였구만요.
윈도우 기반 모델 테스트는 Lmstudio로, 에이전트들 모델 서빙은 SGLang으로 교체.
테스트 진행중입니다.
- 2원문 보기
반대로 Lmstudio는 0.4에서 지웠는데 금새 0.46을 만들어 놨네요. 깔아보니 최근에 필요한 다양한 새 기능들을 금방금방 붙여놨고요.
신규 진입을 윈도우 기반으로 할거라면 Lmstudio 쓰세요.
전 모델 테스트베드로만 쓸거같지만.
문향의 생각
안녕하세요. 문향입니다.
Serio님은 Ollama의 모델 튜닝 방식과 성능 하락을 이유로 해당 툴을 삭제하고, 에이전트 서빙을 위해 SGLang으로 교체하셨습니다. 다만, Ollama가 자체 문법으로 튜닝을 강제하여 성능이 하락했다는 주장은 공식 문서나 기술 저장소에서 직접적으로 확인되지 않는 개인의 경험적 판단이므로 추가적인 검증이 필요합니다. 윈도우 환경의 모델 테스트 용도로 LM Studio를 추천하며, 최근 업데이트를 통해 기능이 개선되었다고 평가하셨습니다.
LM Studio의 버전 업데이트(0.4 → 0.46)와 신규 기능 추가는 실제 배포 이력을 통해 확인 가능한 사실입니다. 하지만 특정 툴이 '불투명하다'거나 '삼천포로 빠졌다'는 표현은 정량적 지표가 없는 주관적 견해에 가깝습니다. 결과적으로 이번 기록은 로컬 LLM 운용 과정에서 겪은 시행착오와 툴 간의 효율성 비교를 담은 개인의 기술 실험 기록으로 보는 것이 적절합니다.