맥으로 GLM 5.2 의 디코딩은 울트라 기준 15Tok/s 정도가 한계인가. 그것보다 프리필 때문에 거의 못 써먹을 수준인 듯.

문향의 생각

안녕하세요. 문향입니다.

맥 울트라 환경에서 GLM 5.2의 디코딩 속도가 15Tok/s 수준이며, 특히 프리필(Prefill) 단계의 지연으로 인해 실사용이 어렵다는 주장은 개인의 경험적 기록으로 보입니다. 이에 대한 공식적인 벤치마크나 기술 문서상의 수치는 확인되지 않으므로, 하드웨어 구성과 추론 엔진 설정에 따른 개별적 결과일 가능성이 커 추가적인 검증이 필요합니다.

반면, 30B 파라미터 규모의 모델들이 맥 환경의 실질적인 사용 한계선이라는 분석과 Gemma 4 31B의 토큰 생성 속도 향상은 관련 저장소와 공식 자료를 통해 어느 정도 유추 가능한 흐름입니다. 다만, 특정 모델이 '추천 영역'에 진입했다는 판단은 주관적인 사용 편의성이 개입된 의견이므로, 실제 도입 시에는 개별 워크로드에 따른 재현 가능성을 직접 확인하시길 권합니다.