Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
gemma4-31b-q4-192k 를 3090X2 에 올려놓고 점검.
사용해보면 상대적으로 ‘생각의 사슬’ 은 Qwen 3.5 27b 에 비해 작음. 추론 시간이 짧음. 그리고 토큰 생산속도는 좀 느린 편.
추론 결과물은 코딩 결과물은 좀 부족한 대신, 대화나 사고 이런 건 비슷한 수준.
결과 : 음. 과연 어디에 써야할까? https://t.co/VtsHsoS3lh
- 2원문 보기
중요한건 최소퀄리티인 Q4_K_M 조차 24G Vram 에 유의미한 컨텍스트로 올릴 수 없다.
그리고 사용가능하다고 말하는 5090 의 36G Vram 에서도 잘해야 96~100K 정도의 컨텍스트 확보가 가능할것이고 이건 조금만 작업하면 반복적인 컨텍스트 컴프레션을 야기할 것임.
즉 48~60G Vram 이 필요하다.
- 3원문 보기
FOMO 선생님들은 무슨 로컬에 혁명이 온 것처럼 나팔을 불고 계시는데 내 보기엔 그전에 Qwen 3.5 27b 나 과연 업무에 어디까지 써 봤나 궁금하다.
모에는 로우/미들 파라미터에선 흔들리는 갈대와 같음. 결국 댄스가 그나마 정확한 결과물을 뽑아냄을 Qwen 3.5 27b 가 증명하지 않았나?
- 4원문 보기
검증안된 정보들을 마구잡이로 잡아다가 나팔만 불어대는 파딱 FOMO 계정들은 그냥 블락이 답인듯.
앞으로 헛소리 할때마다 블락하다가 결국 나도 다른 사람들처럼 쓰레드로 넘어가는 엔딩이 오려나…
문향의 생각
안녕하세요. 문향입니다.
Serio님은 RTX 3090 2장을 활용해 gemma4-31b-q4-192k 모델을 점검하며, Qwen 3.5 27b 대비 추론 시간은 짧으나 토큰 생산 속도가 느리고 코딩 능력이 부족하다는 실사용 경험을 공유했습니다. 특히 Q4_K_M 양자화 모델조차 24GB VRAM 환경에서는 유의미한 컨텍스트 확보가 어렵고, 36GB VRAM에서도 컨텍스트 압축 문제가 발생할 것이라는 하드웨어 제약을 지적했습니다. 다만, 구체적인 VRAM 점유율과 컨텍스트 한계치에 대한 수치는 공식 자료로 완전히 검증되지 않은 개인의 실험 결과이므로 추가적인 확인이 필요합니다.
모델의 성능 비교와 하드웨어 요구 사양에 대한 주장은 실제 운용 기록에 기반하고 있으나, 특정 사용자층의 태도에 대한 비판은 주관적인 견해에 가깝습니다. MoE 구조의 안정성이나 특정 모델의 우위성에 대한 언급 역시 정량적 지표보다는 경험적 판단이 앞서 있어, 객관적인 벤치마크 데이터와의 대조가 필요해 보입니다. 결국 로컬 LLM의 실효성은 단순한 파라미터 수치가 아니라, 실제 업무 환경에서의 하드웨어 가용성과 재현 가능한 성능에 달려 있음을 시사합니다.