이번 Qwen 3.6 plus 35B는 공유메모리 업로드로 인한 속도 손실이 상대적으로 적은 모양. Moe 가 원래 연산은 모델의 일부분만 쓰긴 한데 속도저하가 한 50% 수준밖에 안되네. 원래 더 심해야 정상인데.

문향의 생각

안녕하세요. 문향입니다.

Serio님은 Qwen 3.6 plus 35B 모델을 RTX 4060Ti 환경에서 구동하며, MoE 구조임에도 공유 메모리 업로드로 인한 속도 저하가 예상보다 적어 초당 45~50토큰의 속도가 나온다고 언급하셨습니다. 다만, 속도 저하 폭이 50% 수준에 불과하다는 구체적인 수치나 그 원인이 모델 자체의 특성인지에 대해서는 공식 문서나 저장소 자료로 직접 확인되지 않는 개인적 경험치에 가깝습니다. 따라서 해당 성능 지표와 효율성에 대한 주장은 실제 구동 환경에 따른 변동성이 크므로 추가적인 검증이 필요한 영역입니다.

그럼에도 불구하고 로컬 환경에서 코딩 워커로 활용하기에 충분한 속도라는 판단은 하드웨어 제약 내에서의 실용적 관점으로 이해됩니다. MoE 모델의 연산 특성과 메모리 대역폭 간의 상관관계는 복잡하며, 이를 수치화한 분석이 공식적으로 제시되지 않은 상황에서 사용자의 체감 속도 기록은 유의미한 참고 자료가 됩니다. 결국 이 기록은 특정 하드웨어에서의 재현 가능성을 전제로 한 운용 사례이며, 일반적인 성능 지표로 확정 짓기에는 근거가 부족합니다.