Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

  1. 1

    로우파라메터 Moe모델들은 결과물이 심하게 나쁜데도 그저 빨랐음에만 집착하게 됨.

    난 Qwen 3.6 35b 에선 조금만 작업하도 추론 루프 오류에 자주 빠져서 쓸 수 없었음. 지금도 27b, 31b의 dense 모델만 쓰지.

    정말 쓰려고 요구하는건 아니라 생각함. 빠른 장난감이 필요할 뿐.

    원문 보기
  2. 2

    @aguming_ 48g vram이면 지금은 Qwen 3.8 27B + gemma4 31b 스위칭이죠.

    시스템 메모리가 얼마나 여유가 있느냐에 따라 상위 Moe 모델들도 사정권에 있긴 한데 통합 128G가 안되면 거기서 거기…

    원문 보기
  3. 3
    @agurrrrrrrrr @aguming_ 그건 시스템의 상황이 중요한지라… 제온/에픽 시스템이 있다면 말씀하신 것도 괜찮을 수 있죠.
    원문 보기
  4. 4

    @aguming_ @agurrrrrrrrr Qwen은 과추론을 하도록 설계가 되어 있어서 추론을 달고 가야 결과가 좋아집니다.

    Qwen에서 추론 안쓸거면 차라리 gemma4 에 추론 켠게 나은 거 같아요.

    원문 보기
  5. 5
    @camp4caravan Api 호출로도 ‘쾌적함’을 느낄 수 있는 모델이었어요. 딥시크 V4 Flash 0731은.
    원문 보기
  6. 6
    @firecat03244 단순히 모델 성능으로만 일하는건 아니니깐요. 이전 3.5/3.6 이후 각종 에이전틱 워크가 많이 발전했으니.
    원문 보기
  7. 7

    겜트북에 Gemma4 E2b, 26B a4b, Qwpous 3.6 35 a3b를 세팅해 네트워크 미접속 상태 혹은 폐쇄망에서도 작업할 수 있도록 준비를 해 둠.

    여기에 Api 로 Qwen 3.8 27b + Gpt Astra 를 연동하면 개굿 작업머신 완성!

    • 왜 세팅했어요?
    • 그냥?
    원문 보기
  8. 8
    @ramztd https://t.co/9rM3EOBcsa 작은 VRAM에서 MoE를 다시 시험하다 — X 원문 첨부
    원문 보기
  9. 9
    @Hyun_The_Wise 사실 루나맥스가 대부분의 환경에서 좋습니다.
    원문 보기
  10. 10

    겜트북이 3050이라 Vram이 4기가인데(이걸론 게임만 할꺼야! FHD 면 4G로 충분해! 했던 과거의 나놈 반성하라!)

    반대로 A3b, A4b의 전문가 가중치 + Kv 캐쉬 한계치를 실험하는 테스트배드로 쓰는 중.

    생각보다 잘 들어가는게 웃기네요. 128K 에서 30Tok/s 에 근접하네. 그럭저럭 쓸만할 듯.

    원문 보기
  11. 11
    @akastwit 와 실례가 안된다면 전 5090모바일로 부탁드립니다!
    원문 보기
  12. 12
    @dakyou_way @akastwit 와 그건 저도 좀 부탁드려요!!
    원문 보기
  13. 13
    @akastwit 와 수제 오마카세코딩!!!
    원문 보기
  14. 14
    @fujita_kouno ㅋㅋㅋㅋ 그러다가 하나 둘 머신이 늘어나기 시작하고…
    원문 보기
  15. 15
    @tinypia 쿠냥~
    원문 보기
  16. 16
    @winterrain_lee 목적에 맞는 모델 사용인 것이죠!
    원문 보기
  17. 17
    @gmpnavi 역시 MoeMoe 가 그런 부분은 좋아요. MoeMoe
    원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님은 낮은 VRAM 환경에서 MoE 모델의 실용성에 대해 회의적인 시각에서 시작하여, 실제 하드웨어 제약 속에서 모델을 운용하는 실험적 기록을 남기셨습니다. 특히 Gemma 4의 31B Dense 모델과 26B A4B MoE 모델의 구분은 공식 문서로 확인되는 사실이며, 활성 파라미터와 전체 가중치 메모리의 차이가 실제 추론 속도와 메모리 점유율에 영향을 준다는 점이 기술적으로 타당합니다. 다만, Qwen 모델의 과추론 설계나 특정 모델 간의 성능 비교 우위는 Serio님의 개인적인 경험에 기반한 주장이므로, 일반적인 성능 지표로 일반화하기에는 근거가 다소 부족하며 추가적인 확인이 필요합니다.

작은 VRAM에서 가능했던 부분과 외부 API의 도움을 받은 부분은 구분해서 읽어야 합니다. 특히 MoE의 활성 파라미터가 작다고 전체 가중치도 그만큼 작아지는 것은 아닙니다. 처음의 회의적인 판단을 실제 운용 뒤 다시 고쳐 나가는 흐름이 있어, 성공 수치 하나보다 실험 과정 전체가 더 유용한 기록입니다.

원문 기록맥락과 해석

팩트 체크 & 근거 자료

Serio / X

Serio 원문

작성자가 남긴 당시 경험·의견. 독립적인 사실 검증 자료는 아니다.

X 원문

gemma

공식 문서 및 제작자 자료

Google 모델 카드는 Gemma 4의 31B Dense와 26B A4B MoE 등을 구분한다. 활성 파라미터는 전체 가중치 용량과 다르다.

primary-source