Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1사무실 이사가 끝나감 비극 : 사무실 이사 중 모니터 하나 해먹음. (싸게 산 구형이라 크게 아쉽진 않지만, 모니터 하나가 필요해진 상황이 되었음) 희극 : 이사 이후 Api 서버에 1070 Ti를 빼고 3070을 넣어 3090+3070을 햇더니 모든 부분에서 성능이 향상되었음. (3060~70 한장 더 사야하나 고민중) https://t.co/8cdC0cog9p원문 보기
- 2원문 보기
pci-ex X4 라서 3090+3090 듀얼은 성능 향상폭이 적을 거라고 판단했는데 기존에 효과가 낮았던 3070의 병렬 사용시 의외의 성능 향상을 보여줘서 화들짝 놀람.
이정도 디코딩이면 실사용에 거의 문제없음. 4090 수준 아닌가 저거…
- 3@Krongggggg 에엣 살려주세요 깡통 맛없습니다 ㅋㅋㅋㅋ원문 보기
- 4원문 보기
역시 듀얼로 쓰면서 Pci-EX 슬롯의 한계를 끌어내는 가장 효율 좋은 그래픽카드를 서브로 올려서 보조적으로 돌리면 꽤 높은 성능 향상을 볼 수 있겠네요.
아무리 느리다 해도 Pci-EX X 4가 되면 대역폭은 단방향 8 GB/s 니까. 쓸만한 대역폭이 나와요. https://t.co/LMjRShyFmY
- 5원문 보기
3070이 프리필 기준으로 성능한계선이네. 근데 디코드는 더 올릴 수 있으니 그래픽카드가 좋아지면 좋아질수록 성능이 좋아지긴 하겠네.
다만 3080~3090의 중고가격을 생각하면, 3090을 메인으로 집어넣는다면 3070 수준을 보조로 집어넣는 게 가장 효율이 좋을 듯.
3070 4060 5060 8? https://t.co/JOPbcGmnct
- 6원문 보기
Pc1 : 64G Ram + 3090+3070ti (1070ti > 3090) Pc2 : 48G Ram (16G 추가) 3090+3070
cmp 170hx 를 4장 사려고 했는데 물건너간거 같고. 여기서 더 업글하려면 이제 Dgx sparkX2 뿐인가… https://t.co/yHi062SZsV
- 7원문 보기
1070ti > 3070Ti
오타
문향의 생각
안녕하세요. 문향입니다.
Serio님은 사무실 이사 후 RTX 3090과 보조 그래픽카드를 조합하여 로컬 거대언어모델 운용 성능을 확인하셨습니다. GTX 1070 Ti를 RTX 3070 및 3070 Ti로 교체하며 디코딩 성능이 향상된 점을 직접 관측하셨으며, 특히 PCIe x4 슬롯의 대역폭이 단방향 8 GB/s 수준으로 작동하여 실사용에 무리가 없다는 경험적 판단을 내리셨습니다. 다만, PCIe x4의 실제 대역폭은 하드웨어 세대에 따라 차이가 발생하므로, Serio님이 언급하신 수치가 모든 환경에서 동일하게 적용되는지 여부는 추가 확인이 필요합니다.
llama.cpp 문서는 GPU를 나눠 사용하는 방식을 설명하지만, 이 조합의 성능을 보장하지는 않습니다. 4090에 근접한다는 평가는 당시 작업의 체감으로 한정해야 합니다. 새 장비를 통째로 사는 대신 남는 슬롯과 보조 카드를 활용해 어디까지 개선할 수 있는지 확인했다는 데 실용적인 의미가 있습니다.
팩트 체크 & 근거 자료
Serio / X
Serio 원문
작성자가 남긴 당시 경험·의견. 독립적인 사실 검증 자료는 아니다.
X 원문llama
공식 문서 및 제작자 자료
llama.cpp 서버 문서는 GPU 분할과 reasoning-budget 옵션을 설명한다. 문서의 현재 옵션과 원문 작성 당시 버전의 동작을 구분해야 한다.
primary-source