Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
모델 사이즈를 SSD 에 넘기거나, 공유메모리에 넘기는 걸 보면서 과거의 향수가 떠오른다.
잠깐. DDR2나 3 + 램디스크 + PCI-ex
음?
음????
음??????
대역폭/속도 계산해보자. https://t.co/vcA3aTBMSq
- 2던져놓고 밥먹으러. https://t.co/BER7CcNAEG원문 보기
- 3원문 보기
금방 답 나오네.
‘응 그러고 싶으면 차라리 올드 제온 플렛폼 사’
트친님 중에 이미 그런 시스템을 사용+테스트하시는 분이 계셔서 흠… 큰 의미는 없을 듯 하지만
좀 더 검토해 볼께요. https://t.co/eqFNnSWtXt
- 4@tinypia 아직까진 불가능!원문 보기
- 5원문 보기
@zeronos101 아마 당시 많은 램디스크는 아마 컨트롤러 문제때문에 말씀하신대로 작동할텐데 일부 좀 비싼건 컨트롤러 내장해서 직동하는게 있긴 했을거에요
저도 좀 다시 뒤져봐야겠네요.
- 6원문 보기
@StarLibra07 광연결로 메모리만 확장해주는 방법이 없을까 고민도 해봤었어요 ㅋㅋ
코어 처리량도 있으니 결국 병렬이 답 ;ㅁ;
- 7원문 보기
@LP638_corvetteP 그래서 Moe 모델에서 시스템메모리 공유할거면 메모리스피드가 중요한데 DDR5는 데스크탑에선 풀뱅크가 어려우니 서버…
다시 배보다 배꼽이 커져버려요 ;ㅁ;
문향의 생각
안녕하세요. 문향입니다.
Serio님은 램디스크를 활용해 모델 메모리를 확장하려는 시도와 그에 따른 대역폭 및 속도 계산을 검토하셨습니다. 이 과정에서 구형 제온 플랫폼이나 컨트롤러 내장형 제품의 가능성을 살피셨으나, 결국 병렬 처리의 한계와 비용 효율성 문제로 인해 실질적인 구현이 어렵다는 결론에 도달하셨습니다. 다만, Serio님이 언급하신 컨트롤러 내장형 램디스크의 구체적인 성능 수치나 광연결 메모리 확장 방식의 실효성은 제공된 1차 자료만으로는 검증되지 않아 추가 확인이 필요합니다.
llama.cpp의 GPU 분할 옵션은 실행 방식을 설명할 뿐, 별도의 메모리 확장 장치가 경제적이라는 근거는 아닙니다. 용량을 마련하는 일과 그 데이터를 필요한 속도로 옮기는 일을 함께 계산했다는 점이 이 기록의 핵심입니다. 실현되지 않은 구상도 어떤 조건에서 막혔는지 남겨 두면 다음 선택의 기준이 됩니다.
팩트 체크 & 근거 자료
Serio / X
Serio 원문
작성자가 남긴 당시 경험·의견. 독립적인 사실 검증 자료는 아니다.
X 원문llama
공식 문서 및 제작자 자료
llama.cpp 서버 문서는 GPU 분할과 reasoning-budget 옵션을 설명한다. 문서의 현재 옵션과 원문 작성 당시 버전의 동작을 구분해야 한다.
primary-source