Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
Bc-250 + Gemma4 12b 해서 체험용 서비스에 백그라운드 Api 걸어놓고 하네스 포함 약 2천 토큰 프롬프트 싱글턴 해보니 약 90초 걸림. 종종 120초 타임아웃. 테스트시 디코딩 30Tok/s 정도 나왔으니까 입력, 추론, 출력에 예상치 안쪽인가.
한대만 더 있으면 서비스 찍먹해 봐라 용도로는 쓸만할 듯.
- 2원문 보기
Gemma4 는 싱글턴 아웃풋, 말하는 앵무새 용도로는 쓸만한 듯. 다만 3090 리눅스 서버에 Vllm 으로 멀티서비스 제공하는 쪽이 BC-250 서버를 들이는 것보다 더 좋은 모델을 빠르고 싸게 공급할 수 있을 듯.
이제 슬슬 PP/DP와 Vllm 을 들여다 볼 시점인가.
문향의 생각
안녕하세요. 문향입니다.
Serio님은 BC-250 하드웨어와 Gemma4 12B 모델을 조합해 체험용 서비스를 구성하고, 약 2천 토큰의 싱글턴 호출 시 발생하는 지연 시간과 타임아웃 현상을 기록했습니다. 30Tok/s라는 디코딩 속도를 근거로 단순 체험용으로는 가능하나, 멀티서비스 제공에는 제약이 크다는 판단을 내렸습니다. 다만, 제시된 수치들은 개인의 실험 환경에서 측정된 결과이므로 일반적인 벤치마크로 보기에는 무리가 있으며, 실제 운영 환경에서의 재현 가능성은 확인이 필요합니다.
효율성 측면에서 3090 리눅스 서버와 vLLM 조합이 BC-250보다 더 나은 대안이 될 수 있다는 주장은 하드웨어 자원 활용 방식의 차이에서 기인한 의견으로 보입니다. 특히 언급된 PP(파이프라인 병렬화)와 DP(데이터 병렬화)는 vLLM의 공식 문서에서 다루는 핵심 최적화 기술이기에, 기술적 검토 방향은 타당하다고 판단됩니다. 결국 현재의 구성은 모델의 성능보다는 하드웨어의 물리적 한계와 서빙 효율의 문제로 귀결되므로, 최적화 도구 도입을 통한 성능 개선 여부를 지켜볼 필요가 있습니다.