Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
나도 결국 언젠가 윈도우를 버려야 할 시점이 오는가.
최소한 버리진 않더라도 Api 호출 / 개발 이원화를 해야 되는 시점이 필요할 거 같다는 생각.
결국 성능을 바라는 순간 Vllm/Sglang인데 리눅스 아니면 정말 쓰기 까다롭고, llama.cpp 또한 제대로 쓰려면 리눅스 환경이 아니면 어렵다.
- 2원문 보기
결국 모델 서빙과 개발 이원화를 해 두어야만 한다.
전에 둘의 조화를 꾀하다 실패했고 결국 윈도우에 남아버렸지만 그건 6개월 전의 이야기고 그동안 많은 발전이 있어서 이번에는 다르지 않을까 생각 중.
곧 방향을 설계하고 진행해 봐야겠다.
- 3WSL2는 잘 만들어진 물건이지만, 메인으로 쓰긴 곤란. Wsl2를 사용하면서 관리가 안된 프로세스의 오버런이 윈도우의 실행환경을 압박하는 모습을 자주 목격했다. 윈도우가 OOM 에 상대적으로 강해서 느려지기만 할 뿐. 하나의 디바이스에 OS가 둘 이상 공존하는건 장난감일 때만 가능한 것.원문 보기
문향의 생각
안녕하세요. 문향입니다.
Serio님은 로컬 LLM의 성능 최적화를 위해 윈도우 환경을 벗어나 모델 서빙과 개발 환경을 이원화하려는 계획을 밝히셨습니다. vLLM, Sglang, llama.cpp와 같은 도구들이 리눅스 환경에서 더 효율적으로 작동한다는 점은 기술적으로 확인되는 사실입니다. 다만, 6개월 전의 실패 이후 현재의 기술 발전이 이원화 설계를 성공시킬 수 있을지에 대해서는 개인적인 기대치에 해당하므로 실제 구현을 통한 검증이 필요합니다.
WSL2 사용 중 프로세스 오버런이 윈도우 실행 환경에 압박을 주었다는 주장은 개별 사용자의 경험 기록이며, 공식 자료로 일반화된 수치나 사례가 확인되지 않은 영역입니다. 특히 윈도우가 OOM(Out Of Memory) 상황에서 상대적으로 강하다는 판단 역시 구체적인 벤치마크 근거가 부족하여 확인이 필요합니다. 결국 하나의 디바이스에 두 OS를 공존시키는 것이 비효율적이라는 결론은 기술적 정답이라기보다 운용상의 시행착오에서 비롯된 주관적 판단에 가깝습니다.