로컬 LLM 실험실

Nvidia pair 사용후기.

“쓰지마세요.”

Talescale 로 네트워크의 Ai 머신들을 하네스 직결한 다음에 메인 모델한테 라우팅/호출 해달라는게 더 빠르고 손쉬움.

즉 스킬 하나로 될걸 위해서 별도의 프로그램을 따로 설치할 필요가 없습니다. 특히 테일스케일 유저들은 의미가 1도 없음. https://t.co/gI7sLZcbrG

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

이런 수작을 마치 대단한 기능처럼 포장해서 발표하다니 정말 기가 차다 기가 차.

마케팅의 달인이라고 불러 드립니다.

박수 세 번 짝 짝 짝. https://t.co/skj8dfhURp

@code_n_money 테일스케일 자체가 거의 페어를 대응하는데 그럼 이후는 빠른 에이전트 라우팅과 결과의 결합인데 그걸 빼놓고 ollama, lmstudio 를 얕은 수준의 하네스로 사용하고 있으면

결국 Nvidia pair는 외부 연결 안되는 테일스케일이잖아요?

ㅋ

로우파라메터 Moe모델들은 결과물이 심하게 나쁜데도 그저 빨랐음에만 집착하게 됨.

난 Qwen 3.6 35b 에선 조금만 작업하도 추론 루프 오류에 자주 빠져서 쓸 수 없었음. 지금도 27b, 31b의 dense 모델만 쓰지.

정말 쓰려고 요구하는건 아니라 생각함. 빠른 장난감이 필요할 뿐.

@aguming_ 48g vram이면 지금은 Qwen 3.8 27B + gemma4 31b 스위칭이죠.

시스템 메모리가 얼마나 여유가 있느냐에 따라 상위 Moe 모델들도 사정권에 있긴 한데 통합 128G가 안되면 거기서 거기…

@aguming_ @agurrrrrrrrr Qwen은 과추론을 하도록 설계가 되어 있어서 추론을 달고 가야 결과가 좋아집니다.

Qwen에서 추론 안쓸거면 차라리 gemma4 에 추론 켠게 나은 거 같아요.

겜트북에 Gemma4 E2b, 26B a4b, Qwpous 3.6 35 a3b를 세팅해 네트워크 미접속 상태 혹은 폐쇄망에서도 작업할 수 있도록 준비를 해 둠.

여기에 Api 로 Qwen 3.8 27b + Gpt Astra 를 연동하면 개굿 작업머신 완성!

• 왜 세팅했어요?
• 그냥?

겜트북이 3050이라 Vram이 4기가인데(이걸론 게임만 할꺼야! FHD 면 4G로 충분해! 했던 과거의 나놈 반성하라!)

반대로 A3b, A4b의 전문가 가중치 + Kv 캐쉬 한계치를 실험하는 테스트배드로 쓰는 중.

생각보다 잘 들어가는게 웃기네요. 128K 에서 30Tok/s 에 근접하네. 그럭저럭 쓸만할 듯.

모델 사이즈를 SSD 에 넘기거나, 공유메모리에 넘기는 걸 보면서 과거의 향수가 떠오른다.

잠깐. DDR2나 3 + 램디스크 + PCI-ex

음?

음????

음??????

대역폭/속도 계산해보자. https://t.co/vcA3aTBMSq

금방 답 나오네.

‘응 그러고 싶으면 차라리 올드 제온 플렛폼 사’

트친님 중에 이미 그런 시스템을 사용+테스트하시는 분이 계셔서 흠… 큰 의미는 없을 듯 하지만

좀 더 검토해 볼께요. https://t.co/eqFNnSWtXt

@zeronos101 아마 당시 많은 램디스크는 아마 컨트롤러 문제때문에 말씀하신대로 작동할텐데 일부 좀 비싼건 컨트롤러 내장해서 직동하는게 있긴 했을거에요

저도 좀 다시 뒤져봐야겠네요.

@StarLibra07 광연결로 메모리만 확장해주는 방법이 없을까 고민도 해봤었어요 ㅋㅋ

코어 처리량도 있으니 결국 병렬이 답 ;ㅁ;

@LP638_corvetteP 그래서 Moe 모델에서 시스템메모리 공유할거면 메모리스피드가 중요한데 DDR5는 데스크탑에선 풀뱅크가 어려우니 서버…

다시 배보다 배꼽이 커져버려요 ;ㅁ;

Ox Alpha 는 많이들 예상하시던대로 GLM의 신모델. 하지만 예상한 것과 다르게 중규모 Flash (320B-A18b) 모델.

Dgx Spark 2대, 256g에 올라가는 300B 규모 모델 경쟁이 뜨거워지겠군요.

인용 문맥: @Zai_org의 인용 원문 (Serio 작성 글과 구분)

@Krongggggg 다들 거대모델인줄 알았는데 생각보다 작아서 놀란 듯 합니다.

이정도 크기면 그정도 테스트도 이해가 되죠.

pci-ex X4 라서 3090+3090 듀얼은 성능 향상폭이 적을 거라고 판단했는데 기존에 효과가 낮았던 3070의 병렬 사용시 의외의 성능 향상을 보여줘서 화들짝 놀람.

이정도 디코딩이면 실사용에 거의 문제없음. 4090 수준 아닌가 저거…

역시 듀얼로 쓰면서 Pci-EX 슬롯의 한계를 끌어내는 가장 효율 좋은 그래픽카드를 서브로 올려서 보조적으로 돌리면 꽤 높은 성능 향상을 볼 수 있겠네요.

아무리 느리다 해도 Pci-EX X 4가 되면 대역폭은 단방향 8 GB/s 니까. 쓸만한 대역폭이 나와요. https://t.co/LMjRShyFmY

3070이 프리필 기준으로 성능한계선이네. 근데 디코드는 더 올릴 수 있으니 그래픽카드가 좋아지면 좋아질수록 성능이 좋아지긴 하겠네.

다만 3080~3090의 중고가격을 생각하면, 3090을 메인으로 집어넣는다면 3070 수준을 보조로 집어넣는 게 가장 효율이 좋을 듯.

3070 4060 5060 8? https://t.co/JOPbcGmnct

Pc1 : 64G Ram + 3090+3070ti (1070ti > 3090) Pc2 : 48G Ram (16G 추가) 3090+3070

cmp 170hx 를 4장 사려고 했는데 물건너간거 같고. 여기서 더 업글하려면 이제 Dgx sparkX2 뿐인가… https://t.co/yHi062SZsV

1070ti > 3070Ti

오타

3090/4090/5090으로 100Tok/s 이상을 Mtp/Dflash 등으로 뽑아냈다는 조회수팔이 FOMO들이 또 올라오는데, 싱글턴프롬이 아닌 에이전트 워크를 하려면 256K 풀컨텍스트는 필수임. 그리고 공식 MTP 드래프트를 이용해서 3090 40Tok/s ~ 5090 80Tok/s 가 한계선.

계속 낮은 컨텍스트로 장난치지 말자.

실험결과 (3090/280W)

• DFlash2는 일반 작업에서 MTP-2보다 20~26% 느림.
• 가장 유리한 반복 코드에서도 1.5% 느림.
• DFlash2의 평균 승인 길이는 2.75로 MTP-2의 2.01보다 김.
• 반복 코드에서는 DFlash2 승인 길이가 4.02까지 올라갔지만 여전히 속도 우위가 없었음. https://t.co/AVC8n9e2GM

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

@IgyutaeI83275 고생하셨어요~

아무래도 토큰맥싱 하는 모델의 구조상 추론을 억제시키지 않으면 128k 컨텍스트도 잦은 세션압축에 시달릴 거 같다고 생각해요.

오히려 번역은 리즈닝을 끄고 뽑는 게 좋은데, 그럼 강점을 살리지 못하니 의미가 퇴색됨. 이 부분은 Gemma4 31b 가 더 우수함. 일본분들도 텍스트 자체는 Gemma4 가 더 낫다고 하니 비슷한 감각일 듯.

코딩/제작용이라는 기존 방향은 바뀌지 않을 듯.

< Qwen 3.6 (Non think) > Gemma4 31b (think) https://t.co/eOznNMLJ4O

@tinypia 어제 재미있는 글을 읽었는데 Gemini 2.5 Pro의 문장구사력+네러티브가 RP에 꽤나 선호된다는 내용이었죠.

저도 그 시절부터 꽤나 쓸만한 문장구조를 만들어 낸다는 느낌을 받았습니다.

Qwen 3.8 27b 는 리즈닝 버짓 (리즈닝 캡)을 씌워주는게 좋다 해서 해보는 중

Lmstudio는 없는 줄 알았는데 있네요. https://t.co/h2LTEH6bmk

< 왼쪽 : Lmstudio chat (하네스X) : 31분 > 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 12288)

작업 시간이 확실히 줄어든 건 좋은데 결과는 좀 떨어지네요.모델 스스로 이쯤이면 됬다고 판단할 때까지 깊이 있는 추론을 해야만 좋은 결과가 나오는 듯 합니다. https://t.co/BH2fyuh5Dg

< 왼쪽 : Lmstudio chat (하네스X)
> 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 없음)

그렇게 판단한 이유가 다음과 같아요. 작업 시간이 서로 많이 차이가 나긴 했지만 리즈닝캡이 없을 땐 한계까지 추론하면서 비슷한 결과를 만들어 내거든요. https://t.co/KUT1SnlwyP

지금 제 환경에선 Lmstudio chat 에서 과추론 하면서 만들어 내는 결과물이 결과물의 완성도 측면에선 제일 좋아서 좀 당황스럽네요. 이걸 어떻게 써야할지도 좀 고민스럽구요.

일단 리즈닝캡을 1.5배로 열어 놓고 몇번 더 테스트를 할 듯.

< 왼쪽 : Lmstudio chat (하네스X) : 20분
40,627B / 895줄

> 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 12288) : 17분 30초 37,510B / 845줄 (사소한 버그가 있어서 별도로 해결)

리즈닝 캡에 딱 맞는 게임이라 티가 안나나? https://t.co/6ZEt2UcFsw

리즈닝 캡 없이, 단순 프롬프트로 제작한 버전. https://t.co/8QzYnYIO5z

리즈닝 캡 씌우고 제작한 버전. https://t.co/QNnM4qnh98

@gosrum 전 llama.cpp + lmstudio 를 사용중인데 둘 다 적용 가능했습니다. vllm도 가능할 것으로 판단합니다.

–reasoning on
–reasoning-format deepseek
–reasoning-budget 12288
–reasoning-budget-message ‘I have enough information; answer now.’ https://t.co/gMc8ZNN9ZG

아 이 결과를 어떻게 받아들여야 하나.

고전게임 Moon Patrol 을 원샷프롬으로 제작해 추론 설정에 따른 결과를 비교해 보았습니다.

음. 꽤나 분석이 길어질 거 같은데 결론만 이야기하면 Low 도 쓸만하다. 입니다. 다만 만족스럽냐? 하면 그건 아닌 거 같네요. https://t.co/jlR5zf2j2M

Qwen 3.8 27b 3일간 돌린 후 추론 단계 추천.

1순위 : 추론 Low 빠르고 우수한 결과물을 내 줌. 다만 중간중간 오류가 발생하는데 그걸 잡아주지 못함. 별도의 감사 과정이 필요함.

2순위 : 추론 Xhigh 느리지만 우수한 결과물. 오류를 스스로 해결함. 다만 토큰이 너무 많이 필요.

3순위 : 없음 https://t.co/bXuqJ8iIjE

추천 안하는 추론 단계

Medium : Low 의 문제점과 Xhigh의 문제점을 다 가짐. 토큰 비용은 늘었지만 추론을 더 한다고 해서 문제를 끝까지 수정하지 못하고, 과정에서 다른 걸 건드려서 문제를 더 키움.

추론 X (Instruct) : 전반적으로 퀄리티가 떨어짐. 환각이 강해짐.

Qwen 3.8 27b 검증 최종 결론

• 하네스 사용을 최소화 할 것
• 리즈닝 버짓(캡) 6K ~ 12K
• 추론은 Low
• 단독사용은 추천하지 않음.

작업 결과는 우수하나, 세션 메인 Ai로는 부적절. 하네스 사용을 최소화하고 Gpt 5.6 luna Max 정도의 검증 Ai를 두고 결과를 감사하고 오케스트레이션 할 것.

@thinkgod123 저희집 Gpt 도 처음엔 medium을 좋아하길레 떽 하고 평가지표를 좀 바꾸어주니 바로 low가 맞다고 이실직고를 ㅡㅡㅋ

아무래도 수치상 정량평가는 ‘토큰 소비량 조금 늘더라도 검토를 더 했다’에 가점을 주기 쉬우니 말이죠 ㅋㅋㅋ

하네스 사용을 최소화 하라곤 해 놨지만 하네스가 마냥 나쁜 모델은 아님. 다만 하네스를 적용하면 모델이 작아서 그런건지 모르겠지만 너무 지시에 순응하려고만 해서 모델이 가진 매력을 쉽게 잃어버렸음.

봄날 망아지 뛰어 놀듯 좀 냅둬야 되는 모델이라 보는 중.

Qwen Code 쓰면 나아지려나.

Qwen 3.6 27b도 웹디자인 역량이 그럭저럭 괜찮아서 그 분야에서 파멸적인 Gpt 의 보조 역할로 사용했었는데, Qwen 3.8 27b 는 정말 좋아졌네요. 세팅해서 Gpt의 보조 역할 (디자이너 역할)을 주면 요긴하게 쓸 거 같습니다.

(어디선가 약간 클로드나 중국 모델들 맛이 좀 나긴 하는데) https://t.co/NPXCcmflYq

@ramztd 참으시면 됩니다. 더 좋은 Api 모델들이 많습니다.

일단 루나가 디자인빼곤 다 잘해요 ㅋ

Qwen 3.8 27b사용 이후 코딩 에이전트/하네스에 대한 회의가 찾아옴.

그냥 두면 야생마처럼 잘 달릴 모델을 억지로 하네스 꽁꽁 싸메서 말 잘 듣는 노새로 만들어 버리는 느낌.

밤에 오마이파이 써봤는데 실망이 좀 컸음. Kimi code랑 qwen code 써봐야 할듯.

@promptprobe 그럴 수 있겠네요. 여러 하네스를 돌려 보기도 하고 사용환경에 통합도 해보고 할게 이리저리 많이 생겼네요.

컨텐츠가 생겼다~

@Benz_onttv 맞아요 저도 작은 하네스를 직접 만들었었고 (지금은 지웠습니다만) 그 경험은 하네스와 작동 구조에 대한 이해에 많은 도움을 주었습니다. 지금도 작업용 하네스들에 직접 필요한 튜닝을 하면서 작업하고 있습니다.

경험이 제일 중요합니다. 응원합니다.

새벽부터 Qwen 을 Codex 에서 Qwen 3.8 27b 를 호출하는 자작 스킬을 통해 기존에 개발해 놨던 사이트/프로그램들의 디자인을 전면 재검토하는 작업을 수행 중.

Gpt가 만들어놓은거 Qwen 한테 좍좍 찢기는거 보는 재미가 있네요. 투입한 자원이 많은 건 조금 버티는데 간단히 만든건 바로 털림.

서브프로젝트 중 하나인 오비탈 핀볼 레이싱 (거의 완성 단계라 곧 공개할께요.)

왼쪽 Gpt 5.6 Sol + Prodect Desine plugin 오른쪽 Qwen 3.8 27b

어떤 결과가 마음에 드시나요? https://t.co/b1TpzBZB3j

@firecat03244 계속 만들고 확장하고 만들고 확장하고

펼치는 능력만큼은 최상위입니다 ㅋㅋㅋㅋ

진짜 꼭 필요로 했던 ‘디자인 이해가 높은, 코딩 잘하는 로컬 모델’ 이 나와서 너무 기쁘다.

다음은 Qwen 3.8 27b + Three.js 로 제작한 장면 https://t.co/IA4nRyCARO

@Sn_Kinos 긁기 + 유니크한 거 만들기

메모메모

Qwen 3.8 27b

하네스 없이 싱글턴으로 추론 잔득 돌리는게 결과물은 우수하지만, 만약 하네스를 씌워서 에이전틱 워크를 돌리려면

oh my pi

를 사용하는게 꽤 괜찮은 사용자 경험을 제공하네요.

요즘 왜 핫한지 조금 알 거 같음.

특히 컨텍스트가 클 때, 작업을 오래 할 때 강하네요.

Qwen 3.8 27b를 쓰시는 분들은 이 이미지 저장해 두시면 좋겠습니다.

• 다들 Q4_K_S 많이 쓰실 거 같은데, 여유가 있어 램 용량 4G 정도 더 쓰면 BF 16기준 정확도를 약 3% 더 끌어올릴 수 있습니다.
• Kv 캐쉬는 Q4가 아니라 Q8을 쓰면 속도와 정확도의 균형을 잡을 수 있습니다. https://t.co/4Hzvfz3NNj

Q4~Q6 양자화 정리.

스윗스팟은 Q5~Q6 인 듯 합니다. 특히 Vram 램 여유가 있어 Q6를 올릴 수 있으면 베스트네요.

그 이상은 큰 의미가 없을 듯 합니다. https://t.co/o2nzaAdiNj

@ramztd 다만 이게 돌고 돌아서, 맥을 사면 느린 프리필에 환장하고 Dgx Spark 를 사면 낮은 대역폭으로 답답함을 느끼고 그래서 데스크탑+그래픽카드를 사면 Vram 이 부족하고.

의 무한고리에 갇히게 되죠. 결국 다 사게 됩니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

@tinypia 디코드 속도 넉넉하시면 Kv Q4 로 메모리 챙기시는게 좋죠.

사실 루나맥스가 더 좋죠 ㅋㅋㅋ

Qwen 2.8 27b를

-3090 단일 Q4 로 40Tok/s 로 쓸 것인가. -3090+추가 Vram(다른 그래픽카드 Split)으로 Q5 Kv Q8로 30Tok/s 로 쓸 것인가.

흠

이미지 출처를 달아놔야 되겠네요.

https://t.co/Wmjc7Wy3Sk

인용 문맥: @atomic_chat_hq의 인용 원문 (Serio 작성 글과 구분)

@Abdullah_Cloak 당장 필요하다면 언슬로스의 UD-IQ3_XXS 12G 모델을 쓰면 KVQ4 로 싱글턴 작업 정도는 할 수 있을 여유 메모리를 확보할 수 있을 거에요.

말씀하신대로 35B Moe 가 조금 더 여유롭습니다.

@fucilator_3000 Qwen Base 의 Qwopus 3.5 9b 도 코드품질은 꽤 우수할 꺼에요. (LFM은 제가 안 써봐서 잘 모르겠네요.)

맞는 모델을 찾는 게 중요해요~

@AFGroyper9000 그 제품은 토큰 디코드가 문제라서 모델 자체를 버거워 할 껍니다. 사실 제품 설계가 좀 잘못 되었다고 생각합니다.

그래도 쓴다면 그냥 Q4 를 써보시는 걸 추천합니다.

@TsengSR 아 다들 기준값은 Q4_K_S입니다.

말씀하신 Q4_K_XL은 BF16 적합성이랑 용량적 측면에서 Q5 보다 매력이 조금 떨어지지 않나 추측해 봅니다.

@yorumyokmu https://t.co/rvpcBmXtp7

https://t.co/77UcxIDWQy

@asdasdqweqaasd 전 개발서버쪽은 Lmstudio에서 스플릿레이어가 작동을 안해서 말씀하신 수준의 세팅을 하고 있고, Api 머신에선 작동을 해서 Q5 Kv8 풀컨텍스트로 사용하고 있습니다.

Qwen 3.8 27b 는 야생마 모드 (하네스 개입 최소화) 로 둔 뒤 결과를 감사하는 방식의 사용이 지금으로선 좋아 보입니다.

@TM0fo 앗 못도와드릴 거 같은데요. 780M 의 토큰 생성량이 기대 이하라서.

토큰 생산이 지지부진하시면 Rocm 대신 불칸을 써 보시는 것도 방법이긴 합니다. 라데온쪽은 Rocm 컨트롤이 힘들었어요.

@AFGroyper9000 그정도까진 아니지만;;; 128G 라는 큰 Vram을 Gpu의 디코드 속도가 받쳐주지 못해요.

하지만 못 돌리는거랑 , 돌릴 수 있는 건 다르니까요.

@TsengSR Q4_K_L 에 풀컨텍스트 MTP 다 넣으면 24G Vram 에 안올라가는 건 매 마찬가지라 Q4_K_S 가 일단 기본값이겠죠.

앞으로 더 많은 개선 방법이 올라오리라 봅니다.

원조 GGuf 맛집 언슬로스가 Qwen 3.8 27B를 한번 더 개선했네요. 이정도면 새로 받으시는걸 추천합니다.

특히 양자화 수준이 높은 모델들의 성능 개선폭이 크네요. https://t.co/S9680u6YQv

인용 문맥: @UnslothAI의 인용 원문 (Serio 작성 글과 구분)