로컬 LLM 실험실

원문 타래: https://x.com/Multi_Serio_Ai/status/2052568331727888409

2026-05-08

로컬 LLM을 말하는 모두가 이 글을 봐야 한다.

원문 보기

이 글이 순전히 Ollama 저격글인 이유는

Lmstudio : 10% 성능 하락을 감내할 수 있을 정도로 사용자 UI/UX 설계가 잘 되어있음.

Vllm/Sglang : 애초부터 다른 스테이지임. 경쟁상대가 아님.

그래서 Ollama 로 나는 로컬을 써봤어요!!

하면 색안경 끼고 보게 되는 것.

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2052368157264982200

2026-05-07

최근 LLM 사용법 안내 시리즈 마스코트로 쓰고 있는 3호짱 https://t.co/pWliqCHATC

원문 보기

https://t.co/BRn19TR6O2 https://t.co/oAhTud1urc

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2051591709914808702

2026-05-05

800B 모델의 다운로드수가 600 K 인 것은 굉장히 기형적임.

아마 서빙 Api 운영 데이터센터에서 반복적으로 바로 받아서 자동 설치했을 가능성이 높다고 생각함.

모두들 궁금하긴 하겠지. https://t.co/g54cP6Pgiw

원문 보기

Qwen 3.6 27b 다운로드 횟수가 140만인데 Unsloth 판 등 다 합치면 3M~4M 추산이고 그 중 여러 기기 중복등을 고려했을 때 실제로 작업에 적용, 투입 중인 사람들은 많아봐야 몇십만 정도임.

AI 는 아직도 프론티어.

그걸 잊으면 안 됨. https://t.co/KhUtyl5dd0

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2051140256796410223

2026-05-04

1. Vram은 많아야 함

• Qwen 3.7 27b 의 Q4는 비전 포함 17 기가 정도.

• 근데 Q8_0은 28.6G, 양자화 없는 BF16 은 무려 53.8G 임

• Qwen 3.7 27b 는 양자화에 따른 정밀도 하락이 예상보다 심한 걸로 보고되고 있음. (Q4의 경우 10~15% 하락)

• 당신의 로컬 AI는 실제 벤치랑 다를 수 있음.

원문 보기

2. 그에 맞는 충분한 토큰 생산 능력을 갖추어야 함.

• DGX Spark : GB10, SM121으로 가리고 있으나 실 코어는 5070. 하지만 공급 전력이 낮으므로 실 생산량은 그보다 적음 + Arm core 로 인한 X86 호환성 결여는 덤.

• Ai max 395+ : 높은 메모리 대역폭과 스펙을 갖추고 있으나 실 생산력은 비슷함.

원문 보기

3. 결국 로컬은 아직 과도기.

• 외부 정보 유출 걱정 + 자체 데이터센터를 구축할 수 있는 대기업들은 대형 오픈소스 모델로 로컬 AI를 구축할 수 있음.

• 중소기업들은 구축비용 대비 효율이 나쁨.

• 기술발전 속도가 매우 빠른 지금 시점에서 중소기업이 로컬 AI를 구축하는 건 회의적.

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2050810056321691657

2026-05-03

올초부터 나오는 3060 재판매설

• 게이밍 : 그럴거면 5050/5060 을 12기가 박고 가격인하 하면 되는 거 아닌가?

• LLM : 그 램으로 어딜? 9B 다음은 20~30B인데 택도 없음.

그냥 GPU 공급 부족에 계약이 끝난 구형 모델을 타사 펩(삼성)에서 다시 생산해 게이밍 시장 돌려막기 하는 것으로 보임.

원문 보기

3060 12G 는 만약 내놓는다면 199 달러 아니면 249 달러 시작이 되어야 함. 그러면 2장에 500달러 Vram 24G임. 소매시장에서 최소한의 LLM 시작을 할 수 있는 마지노선을 500달러에 시작하는 것.

Nvidia 가 그럴 생각은 1도 없겠지만.

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2050417323815878921

2026-05-02

샌디스크가 낸드 생산공장이 없는, 팹은 키옥시아에 맡기고 패키징과 유통만 (그것도 다 본사가 하는것도 아닌) 해서 WD의 기존 유통물량을 합쳐서 낸드공급량 10% 를 간신히 맞추는 회사인데 주가가 고공행진을 하는 것을 보면 지금이 미친 버블의 시대임을 짐직할 수 있다.

원문 보기

그리고 여전히 공급은 시장 수요 이상으로 제공되고 있다. 이전과 다른 건 반도체의 가격탄력성을 무기로 삼은 밴더들이 B2C가 아닌 B2B로 눈을 돌려 IT기업 특히 AI기업들을 착취의 대상으로 보고 입도선매와 매점을 통해 물량을 틀어쥔 뒤 천천히 물건을 찍고 있는 것일 뿐.

원문 보기

그래서 AI버블이 무너지는 순간, 정말 상상하기도 싫은 끔찍한 공황이 찾아올 수 있다. 라고 나는 보고 있음.

개미는 버블기엔 움츠러들어야 살 수 있다. 개미가 달리는 호랑이의 위에 올라타면 내리는 건 절벽에 떨어질 때 뿐.

원문 보기

작년의 깐부회동은 지금의 주식 상승을 즐기는 사람들에겐 한국 황금기의 서막이라 할지 몰라도 내가 보기엔 제2의 프라자 합의나 다를 바 없음.

현명한 농사꾼은 생산물 전부를 입도선매 하지 않음. 시장이 좋으면 청과도매상의 이득이지만 시장이 나쁘면 농사꾼의 목을 졸라버리게 되니까.

원문 보기

그렇기에 프라자 합의와 버블 붕괴 사이 일본에 무슨 일이 일어났는지를 살펴보고, 대응을 미리미리 준비할 필요가 있다.

버블은 언젠가는 터지고

축제도 언젠가 끝난다.

역사는 반복된다.

인간에게 탐욕이 있는 한.

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2050491139950817668

2026-05-02

몇일동안의 실험 결과

Nvidia + win : llama.cpp native

도커랑 Lmstudio 성능차이 15~20%

Lmstudio 랑 llama.cpp native 성능차이 10~15%

그냥 윈도우 네이티브 llama.cpp 쓰세요.

Radeon + win = X

AMD 는 윈도우 같은 거 몰라.

억지로 굴러가게 해 놨을 뿐인 쓰레기.

원문 보기

만약 Radeon으로 Rcom 제대로 쓰려면 리눅스는 필수.

그래서 이제 Wsl2로 Rcom 지원 llama.cpp

빌드 세팅하는 게 다음 목표

성공하면 집 7900GRE 데려다가 6700XT 물려서 28G Vram 만들어주고 거기에도 qwen 3.6 27b 물려줘야지.

게임은요?

안한지 5개월째인걸.

AI가 더 재미있어.

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2050610272491245686

2026-05-02

Local LLM 서빙/ 모델 설정 가이드 (1) - Eng Ver

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다.

#local_llm #llm #ai https://t.co/LTRHpQDBdC

원문 보기

Local LLM 서빙/ 모델 설정 가이드 (3) - Eng Ver

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다.

#local_llm #llm #ai https://t.co/UnpYZyCxAk

원문 보기

Local LLM 서빙/ 모델 설정 가이드 (4) - Eng Ver

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다.

#local_llm #llm #ai https://t.co/JA8yZYfZ6b

원문 보기

2026-05-05

Local LLM 서빙/ 모델 설정 가이드 (5~7) - Eng Ver

• 오늘은 언슬로스를 통한 가중치 확인/설정 가이드입니다.

• 배포 / 오류 지적 언제든 환영합니다.

https://t.co/Gm9HM3xSF8

https://t.co/ytmuVNsZpp

@UnslothAI

#ai #local_llm #unsloth https://t.co/mHXfkxWfs5

원문 보기

@UnslothAI Local LLM 서빙/ 모델 설정 가이드 (8~10) - Eng Ver

• 어려워하시는 샘플링 메개변수 가이드입니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/mIgsrICjFF

원문 보기

2026-05-21

@UnslothAI MTP 설명 및 설정 가이드 (11~13)

• 새로 추가된 MTP 관련 가이드입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/E5sioAQNWv

원문 보기

2026-05-22

@UnslothAI MTP + 텐서 병렬 사용후기 (14~16)

• 텐서 병렬에 관한 정보입니다.

• 또한 llama.cpp + 텐서 병렬으로 그래픽카드를 2장 세팅해 본 후기입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/RYnuwgzyEN

원문 보기

원문 타래: https://x.com/Multi_Serio_Ai/status/2050556075146186840

2026-05-02

Local LLM 서빙/ 모델 설정 가이드 (1)

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다.

#local_llm #llm #ai https://t.co/NxFuYYRVw8

원문 보기

2026-05-21

@UnslothAI MTP 설명 및 설정 가이드 (12)

• 새로 추가된 MTP 관련 가이드입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/beaZlWzNGu

원문 보기

@UnslothAI MTP 설명 및 설정 가이드 (13)

• 새로 추가된 MTP 관련 가이드입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/PAFg59GoOx

원문 보기

2026-05-22

@UnslothAI 텐서 병렬 설명 (14)

• 그래픽카드를 함께 쓰는 텐서 병렬에 관한 가이드입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/tnuKVVs8QF

원문 보기

@UnslothAI MTP + 텐서 병렬 사용후기 (15)

• llama.cpp + 텐서 병렬으로 그래픽카드를 2장 세팅해 본 후기입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/NliH9QfEEm

원문 보기

@UnslothAI MTP + 텐서 병렬 사용후기 (16)

• llama.cpp + 텐서 병렬으로 그래픽카드를 2장 세팅해 본 후기입니다.

• 관련 정보 채널에 올릴 목적으로 만들었습니다.

• 배포 / 오류 지적 언제든 환영합니다. https://t.co/2hoIWWj3G3

원문 보기