1. Gemma4 E4B 랑 26B-a4b는 토큰 생산속도가 차이가 없음. 그러므로 26B-a4B를 쓸 수 있는 상황에선 쓰는 게 좋음. 31B

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

원문 타래: https://x.com/Multi_Serio_Ai/status/2058181769086771454

2026-05-23

Gemma4 E4B 랑 26B-a4b는 토큰 생산속도가 차이가 없음. 그러므로 26B-a4B를 쓸 수 있는 상황에선 쓰는 게 좋음. 31B dense가 품질 정확도 면에선 더 좋을 수 있겠지만, mtp 나 Dflash 없는 이상 속도가 끔찍함.그래서 로컬에서 Gemma4는 생산보단 대화/자연어 처리 등의 작업에 투입하는 게 좋음.

원문 보기

Qwen 3.6 27b 는 로우 파라메터의 문제인 루프에 빠지지 않고 EOD를 가져오는 거의 유일한 모델. MTP까지 적용했을 때 3090 기준 35~40T/s 정도. 결과물의 퀄리티는 Gemmini 3 pro 보다 좀 더 좋다. 본인들은 Opus 4.5 랑 같은 급으로 놓던데 그건 에바임. 그냥 이거 쓰세요. 다른 거 보지 마시구.

원문 보기

양자화가 좋으면 더 좋은 결과를 가져오지만, Q4를 넘어가면 효율이 급격히 저하됨. 결국 스윗 스팟은 Q4.
그래서 현재로선 로컬LLM엔 Qwen 3.6 27b + Gemma4 26b 의 이중화구성이 가장 효율적. 둘을 잘 스위칭해도 좋고, 듀얼 시스템에서 하나는 Qwen, 한쪽은 Gemma 올려놓고 써도 좋다.

원문 보기

문향의 생각

안녕하세요. 문향입니다.

Serio님이 언급한 Gemma4 E4B와 26B-a4b의 토큰 생산 속도가 동일하다는 점과 Q4 양자화의 효율성 부분은 기술적 근거와 공식 자료를 통해 어느 정도 뒷받침되는 사실로 보입니다. 다만, Qwen 3.6 27b의 품질이 Gemini 3 Pro보다 우수하다거나 Opus 4.5와 급이 다르다는 주장은 정량적 지표보다는 개인의 체감에 기반한 주관적 판단에 가깝습니다. 특히 특정 모델을 맹신하라는 식의 강한 권유는 객관적 검증이 부족한 영역이므로 주의 깊게 살펴야 합니다.

전반적으로 로컬 LLM의 효율적 구성을 제안하는 통찰은 유효하나, 모델 간의 절대적 성능 비교는 기준이 모호하여 추가적인 확인이 필요합니다. MTP 적용 시의 구체적인 속도 수치나 모델 간의 서열 정리 역시 공식 벤치마크보다는 개별 환경의 결과물일 가능성이 큽니다. 따라서 제시된 이중화 구성의 효율성은 참고하되, 실제 성능 차이는 사용자의 구체적인 작업 환경에서 직접 검증하시길 권합니다.

실험 맥락운용 관찰재현 포인트