pci-ex X4 라서 3090+3090 듀얼은 성능 향상폭이 적을 거라고 판단했는데 기존에 효과가 낮았던 3070의 병렬 사용시 의외의 성능 향상을 보여줘서 화들짝 놀람.

이정도 디코딩이면 실사용에 거의 문제없음. 4090 수준 아닌가 저거…

역시 듀얼로 쓰면서 Pci-EX 슬롯의 한계를 끌어내는 가장 효율 좋은 그래픽카드를 서브로 올려서 보조적으로 돌리면 꽤 높은 성능 향상을 볼 수 있겠네요.

아무리 느리다 해도 Pci-EX X 4가 되면 대역폭은 단방향 8 GB/s 니까. 쓸만한 대역폭이 나와요. https://t.co/LMjRShyFmY

3070이 프리필 기준으로 성능한계선이네. 근데 디코드는 더 올릴 수 있으니 그래픽카드가 좋아지면 좋아질수록 성능이 좋아지긴 하겠네.

다만 3080~3090의 중고가격을 생각하면, 3090을 메인으로 집어넣는다면 3070 수준을 보조로 집어넣는 게 가장 효율이 좋을 듯.

3070 4060 5060 8? https://t.co/JOPbcGmnct

Pc1 : 64G Ram + 3090+3070ti (1070ti > 3090) Pc2 : 48G Ram (16G 추가) 3090+3070

cmp 170hx 를 4장 사려고 했는데 물건너간거 같고. 여기서 더 업글하려면 이제 Dgx sparkX2 뿐인가… https://t.co/yHi062SZsV

1070ti > 3070Ti

오타

그래서 평가 설계를 할 때 가장 하면 안되는 것이 욕심을 부리는 것이다. 이 평가도구로 모든 것을 볼 수 있게 하겠어, 필요한 것들을 다 도구 속에 집어넣겠어는 결국 많은 것들을 놓치게 만든다.

BTB, Simple is best 는 어디에든 통용되지만 특히 평가의 측면에선 제일 중요한 부분이다.

3090/4090/5090으로 100Tok/s 이상을 Mtp/Dflash 등으로 뽑아냈다는 조회수팔이 FOMO들이 또 올라오는데, 싱글턴프롬이 아닌 에이전트 워크를 하려면 256K 풀컨텍스트는 필수임. 그리고 공식 MTP 드래프트를 이용해서 3090 40Tok/s ~ 5090 80Tok/s 가 한계선.

계속 낮은 컨텍스트로 장난치지 말자.

실험결과 (3090/280W)

• DFlash2는 일반 작업에서 MTP-2보다 20~26% 느림.
• 가장 유리한 반복 코드에서도 1.5% 느림.
• DFlash2의 평균 승인 길이는 2.75로 MTP-2의 2.01보다 김.
• 반복 코드에서는 DFlash2 승인 길이가 4.02까지 올라갔지만 여전히 속도 우위가 없었음. https://t.co/AVC8n9e2GM

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

@IgyutaeI83275 고생하셨어요~

아무래도 토큰맥싱 하는 모델의 구조상 추론을 억제시키지 않으면 128k 컨텍스트도 잦은 세션압축에 시달릴 거 같다고 생각해요.

오히려 번역은 리즈닝을 끄고 뽑는 게 좋은데, 그럼 강점을 살리지 못하니 의미가 퇴색됨. 이 부분은 Gemma4 31b 가 더 우수함. 일본분들도 텍스트 자체는 Gemma4 가 더 낫다고 하니 비슷한 감각일 듯.

코딩/제작용이라는 기존 방향은 바뀌지 않을 듯.

< Qwen 3.6 (Non think) > Gemma4 31b (think) https://t.co/eOznNMLJ4O

@tinypia 어제 재미있는 글을 읽었는데 Gemini 2.5 Pro의 문장구사력+네러티브가 RP에 꽤나 선호된다는 내용이었죠.

저도 그 시절부터 꽤나 쓸만한 문장구조를 만들어 낸다는 느낌을 받았습니다.

Qwen 3.8 27b 는 리즈닝 버짓 (리즈닝 캡)을 씌워주는게 좋다 해서 해보는 중

Lmstudio는 없는 줄 알았는데 있네요. https://t.co/h2LTEH6bmk

< 왼쪽 : Lmstudio chat (하네스X) : 31분 > 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 12288)

작업 시간이 확실히 줄어든 건 좋은데 결과는 좀 떨어지네요.모델 스스로 이쯤이면 됬다고 판단할 때까지 깊이 있는 추론을 해야만 좋은 결과가 나오는 듯 합니다. https://t.co/BH2fyuh5Dg

< 왼쪽 : Lmstudio chat (하네스X)
> 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 없음)

그렇게 판단한 이유가 다음과 같아요. 작업 시간이 서로 많이 차이가 나긴 했지만 리즈닝캡이 없을 땐 한계까지 추론하면서 비슷한 결과를 만들어 내거든요. https://t.co/KUT1SnlwyP

지금 제 환경에선 Lmstudio chat 에서 과추론 하면서 만들어 내는 결과물이 결과물의 완성도 측면에선 제일 좋아서 좀 당황스럽네요. 이걸 어떻게 써야할지도 좀 고민스럽구요.

일단 리즈닝캡을 1.5배로 열어 놓고 몇번 더 테스트를 할 듯.

< 왼쪽 : Lmstudio chat (하네스X) : 20분
40,627B / 895줄

> 오른쪽 : 자체제작 Codex Qwen Build (추가 프롬프트 주입X, 리즈닝 버짓(캡) 12288) : 17분 30초 37,510B / 845줄 (사소한 버그가 있어서 별도로 해결)

리즈닝 캡에 딱 맞는 게임이라 티가 안나나? https://t.co/6ZEt2UcFsw

리즈닝 캡 없이, 단순 프롬프트로 제작한 버전. https://t.co/8QzYnYIO5z

리즈닝 캡 씌우고 제작한 버전. https://t.co/QNnM4qnh98

@gosrum 전 llama.cpp + lmstudio 를 사용중인데 둘 다 적용 가능했습니다. vllm도 가능할 것으로 판단합니다.

–reasoning on
–reasoning-format deepseek
–reasoning-budget 12288
–reasoning-budget-message ‘I have enough information; answer now.’ https://t.co/gMc8ZNN9ZG

아 이 결과를 어떻게 받아들여야 하나.

고전게임 Moon Patrol 을 원샷프롬으로 제작해 추론 설정에 따른 결과를 비교해 보았습니다.

음. 꽤나 분석이 길어질 거 같은데 결론만 이야기하면 Low 도 쓸만하다. 입니다. 다만 만족스럽냐? 하면 그건 아닌 거 같네요. https://t.co/jlR5zf2j2M

Qwen 3.8 27b 3일간 돌린 후 추론 단계 추천.

1순위 : 추론 Low 빠르고 우수한 결과물을 내 줌. 다만 중간중간 오류가 발생하는데 그걸 잡아주지 못함. 별도의 감사 과정이 필요함.

2순위 : 추론 Xhigh 느리지만 우수한 결과물. 오류를 스스로 해결함. 다만 토큰이 너무 많이 필요.

3순위 : 없음 https://t.co/bXuqJ8iIjE

추천 안하는 추론 단계

Medium : Low 의 문제점과 Xhigh의 문제점을 다 가짐. 토큰 비용은 늘었지만 추론을 더 한다고 해서 문제를 끝까지 수정하지 못하고, 과정에서 다른 걸 건드려서 문제를 더 키움.

추론 X (Instruct) : 전반적으로 퀄리티가 떨어짐. 환각이 강해짐.

Qwen 3.8 27b 검증 최종 결론

• 하네스 사용을 최소화 할 것
• 리즈닝 버짓(캡) 6K ~ 12K
• 추론은 Low
• 단독사용은 추천하지 않음.

작업 결과는 우수하나, 세션 메인 Ai로는 부적절. 하네스 사용을 최소화하고 Gpt 5.6 luna Max 정도의 검증 Ai를 두고 결과를 감사하고 오케스트레이션 할 것.

@thinkgod123 저희집 Gpt 도 처음엔 medium을 좋아하길레 떽 하고 평가지표를 좀 바꾸어주니 바로 low가 맞다고 이실직고를 ㅡㅡㅋ

아무래도 수치상 정량평가는 ‘토큰 소비량 조금 늘더라도 검토를 더 했다’에 가점을 주기 쉬우니 말이죠 ㅋㅋㅋ

하네스 사용을 최소화 하라곤 해 놨지만 하네스가 마냥 나쁜 모델은 아님. 다만 하네스를 적용하면 모델이 작아서 그런건지 모르겠지만 너무 지시에 순응하려고만 해서 모델이 가진 매력을 쉽게 잃어버렸음.

봄날 망아지 뛰어 놀듯 좀 냅둬야 되는 모델이라 보는 중.

Qwen Code 쓰면 나아지려나.

새벽에 쓴 글들을 좋게 봐 주시니, 프롬프트 선물 하나 까 봅니다.

“1. 다음 글을 논리적, 수사(修辭)적으로 접근 분석해 보라.
2. 1의 분석 내용을 바탕으로 ‘오컴의 면도날’을 이용 글의 필요 없는 부분을 쳐내고 본질을 드러내 보라.”

결과물

https://t.co/bygsdIiXvB https://t.co/QKjkw9YN55

웹에서 본 ai, 바이브코딩 아티클이 괜찮은데 뭔가 쌔하다 싶으면 다음 프롬프트를 써 보세요. 그럼 최신 하네스+모델 입장에서 뭐가 부족한지 그 쌔한 부분을 단번에 짚어 줄 거에요.

지금은 딱 3개월만 지나도 다 낡은 지식이 되는 시기입니다. 유행에 흐름에 타기 보단 기본에 집중하세요. https://t.co/OET1WUfGFb

Qwen 3.6 27b도 웹디자인 역량이 그럭저럭 괜찮아서 그 분야에서 파멸적인 Gpt 의 보조 역할로 사용했었는데, Qwen 3.8 27b 는 정말 좋아졌네요. 세팅해서 Gpt의 보조 역할 (디자이너 역할)을 주면 요긴하게 쓸 거 같습니다.

(어디선가 약간 클로드나 중국 모델들 맛이 좀 나긴 하는데) https://t.co/NPXCcmflYq

@ramztd 참으시면 됩니다. 더 좋은 Api 모델들이 많습니다.

일단 루나가 디자인빼곤 다 잘해요 ㅋ

Qwen 3.8 27b사용 이후 코딩 에이전트/하네스에 대한 회의가 찾아옴.

그냥 두면 야생마처럼 잘 달릴 모델을 억지로 하네스 꽁꽁 싸메서 말 잘 듣는 노새로 만들어 버리는 느낌.

밤에 오마이파이 써봤는데 실망이 좀 컸음. Kimi code랑 qwen code 써봐야 할듯.

@promptprobe 그럴 수 있겠네요. 여러 하네스를 돌려 보기도 하고 사용환경에 통합도 해보고 할게 이리저리 많이 생겼네요.

컨텐츠가 생겼다~

@Benz_onttv 맞아요 저도 작은 하네스를 직접 만들었었고 (지금은 지웠습니다만) 그 경험은 하네스와 작동 구조에 대한 이해에 많은 도움을 주었습니다. 지금도 작업용 하네스들에 직접 필요한 튜닝을 하면서 작업하고 있습니다.

경험이 제일 중요합니다. 응원합니다.

새벽부터 Qwen 을 Codex 에서 Qwen 3.8 27b 를 호출하는 자작 스킬을 통해 기존에 개발해 놨던 사이트/프로그램들의 디자인을 전면 재검토하는 작업을 수행 중.

Gpt가 만들어놓은거 Qwen 한테 좍좍 찢기는거 보는 재미가 있네요. 투입한 자원이 많은 건 조금 버티는데 간단히 만든건 바로 털림.

서브프로젝트 중 하나인 오비탈 핀볼 레이싱 (거의 완성 단계라 곧 공개할께요.)

왼쪽 Gpt 5.6 Sol + Prodect Desine plugin 오른쪽 Qwen 3.8 27b

어떤 결과가 마음에 드시나요? https://t.co/b1TpzBZB3j

@firecat03244 계속 만들고 확장하고 만들고 확장하고

펼치는 능력만큼은 최상위입니다 ㅋㅋㅋㅋ

진짜 꼭 필요로 했던 ‘디자인 이해가 높은, 코딩 잘하는 로컬 모델’ 이 나와서 너무 기쁘다.

다음은 Qwen 3.8 27b + Three.js 로 제작한 장면 https://t.co/IA4nRyCARO

@Sn_Kinos 긁기 + 유니크한 거 만들기

메모메모

Qwen 3.8 27b

하네스 없이 싱글턴으로 추론 잔득 돌리는게 결과물은 우수하지만, 만약 하네스를 씌워서 에이전틱 워크를 돌리려면

oh my pi

를 사용하는게 꽤 괜찮은 사용자 경험을 제공하네요.

요즘 왜 핫한지 조금 알 거 같음.

특히 컨텍스트가 클 때, 작업을 오래 할 때 강하네요.

Qwen 3.8 27b를 쓰시는 분들은 이 이미지 저장해 두시면 좋겠습니다.

• 다들 Q4_K_S 많이 쓰실 거 같은데, 여유가 있어 램 용량 4G 정도 더 쓰면 BF 16기준 정확도를 약 3% 더 끌어올릴 수 있습니다.
• Kv 캐쉬는 Q4가 아니라 Q8을 쓰면 속도와 정확도의 균형을 잡을 수 있습니다. https://t.co/4Hzvfz3NNj

Q4~Q6 양자화 정리.

스윗스팟은 Q5~Q6 인 듯 합니다. 특히 Vram 램 여유가 있어 Q6를 올릴 수 있으면 베스트네요.

그 이상은 큰 의미가 없을 듯 합니다. https://t.co/o2nzaAdiNj

@ramztd 다만 이게 돌고 돌아서, 맥을 사면 느린 프리필에 환장하고 Dgx Spark 를 사면 낮은 대역폭으로 답답함을 느끼고 그래서 데스크탑+그래픽카드를 사면 Vram 이 부족하고.

의 무한고리에 갇히게 되죠. 결국 다 사게 됩니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

@tinypia 디코드 속도 넉넉하시면 Kv Q4 로 메모리 챙기시는게 좋죠.

사실 루나맥스가 더 좋죠 ㅋㅋㅋ

Qwen 2.8 27b를

-3090 단일 Q4 로 40Tok/s 로 쓸 것인가. -3090+추가 Vram(다른 그래픽카드 Split)으로 Q5 Kv Q8로 30Tok/s 로 쓸 것인가.

흠

이미지 출처를 달아놔야 되겠네요.

https://t.co/Wmjc7Wy3Sk

인용 문맥: @atomic_chat_hq의 인용 원문 (Serio 작성 글과 구분)

@Abdullah_Cloak 당장 필요하다면 언슬로스의 UD-IQ3_XXS 12G 모델을 쓰면 KVQ4 로 싱글턴 작업 정도는 할 수 있을 여유 메모리를 확보할 수 있을 거에요.

말씀하신대로 35B Moe 가 조금 더 여유롭습니다.

@fucilator_3000 Qwen Base 의 Qwopus 3.5 9b 도 코드품질은 꽤 우수할 꺼에요. (LFM은 제가 안 써봐서 잘 모르겠네요.)

맞는 모델을 찾는 게 중요해요~

@AFGroyper9000 그 제품은 토큰 디코드가 문제라서 모델 자체를 버거워 할 껍니다. 사실 제품 설계가 좀 잘못 되었다고 생각합니다.

그래도 쓴다면 그냥 Q4 를 써보시는 걸 추천합니다.

@TsengSR 아 다들 기준값은 Q4_K_S입니다.

말씀하신 Q4_K_XL은 BF16 적합성이랑 용량적 측면에서 Q5 보다 매력이 조금 떨어지지 않나 추측해 봅니다.

@yorumyokmu https://t.co/rvpcBmXtp7

https://t.co/77UcxIDWQy

@asdasdqweqaasd 전 개발서버쪽은 Lmstudio에서 스플릿레이어가 작동을 안해서 말씀하신 수준의 세팅을 하고 있고, Api 머신에선 작동을 해서 Q5 Kv8 풀컨텍스트로 사용하고 있습니다.

Qwen 3.8 27b 는 야생마 모드 (하네스 개입 최소화) 로 둔 뒤 결과를 감사하는 방식의 사용이 지금으로선 좋아 보입니다.

@TM0fo 앗 못도와드릴 거 같은데요. 780M 의 토큰 생성량이 기대 이하라서.

토큰 생산이 지지부진하시면 Rocm 대신 불칸을 써 보시는 것도 방법이긴 합니다. 라데온쪽은 Rocm 컨트롤이 힘들었어요.

@AFGroyper9000 그정도까진 아니지만;;; 128G 라는 큰 Vram을 Gpu의 디코드 속도가 받쳐주지 못해요.

하지만 못 돌리는거랑 , 돌릴 수 있는 건 다르니까요.

@TsengSR Q4_K_L 에 풀컨텍스트 MTP 다 넣으면 24G Vram 에 안올라가는 건 매 마찬가지라 Q4_K_S 가 일단 기본값이겠죠.

앞으로 더 많은 개선 방법이 올라오리라 봅니다.

원조 GGuf 맛집 언슬로스가 Qwen 3.8 27B를 한번 더 개선했네요. 이정도면 새로 받으시는걸 추천합니다.

특히 양자화 수준이 높은 모델들의 성능 개선폭이 크네요. https://t.co/S9680u6YQv

인용 문맥: @UnslothAI의 인용 원문 (Serio 작성 글과 구분)

ㅋㅋㅋㅋ 아니 이거 왠지 ㅋㅋㅋㅋㅋ 제목을

‘로컬 Ai 가 Gpt 따는거 보여줌’

이라고 짓고 싶어지는데요?

왼쪽 Qwen 3.8 27b (하네스 없음. Lmstudio에서 바로출력) 오른쪽 Gpt 5.6 Sol (high+superpower)

왼쪽은 싱글턴이고 오른쪽은 슈퍼파워 리딩에 맞췄는데 코드 량 차이가 2.5배. https://t.co/CsIzAjqvgH

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

결과물.

왼쪽 Qwen 3.8 27b (하네스 없음. Lmstudio에서 바로출력) 오른쪽 Gpt 5.6 Sol (high+superpower)

모델 간 해석 차이 + Qwen 이 만든 쪽이 조금 오류가 있긴 한데 ㅋㅋㅋ 이거 왠지 Gpt 5.6 Sol이 로컬 모델한테 디자인 벤치 따이는 결과가 나올지도 모르겠다는 생각이 아주 조금 듭니다. https://t.co/qA89WoIorq

@ROUT_DEVELOP 사실 일부러 보여드린 것도 있어요 ㅋㅋㅋㅋ

Gpt Sol은 원작 구글 공룡 게임에 가까워지려고 노력했고, Qwen 3.8은 자기가 할 수 있는 가장 우수한 공룡게임을 만들려고 했죠.

그래서 더 재미있는 결과물이라 생각합니다. 매번 새 모델 나올때마다 공룡부터 짜 보는 이유에요.

테스트 2

< 왼쪽 Lmstudio chat

38,206자

오른쪽 > Qwen 3.8 27b + Opencode + OMO + SuperPower /goal 구글 공룡 게임 만들어줘 19,342자 https://t.co/DKGhRxo4AA

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

결과물 : Qwen 3.8 27b

< 왼쪽 Lmstudio chat 21분 29초

오른쪽 > Qwen 3.8 27b + Opencode + OMO + SuperPower 45분 8초

뭐가 나은지는 각자 다르지만 하네스를 거친 게 좀 더 ‘구글 공룡 게임’ 에 가까워져 있습니다. https://t.co/5fUBfGKJZD

Qwen 3.6 27b를 깡으로 일 시키면 재미있는 결과가 나오는데 설치해둔 하네스를 끼워주니 제작시간도 더 걸리면서도 심심한 결과가 나오는 상황.

제대로 쓰려면 큰 제악 없는 가벼운 하네스를 찾아야 되는 상황에 직면했네요.

@byeolbyeol_e 하네스 많이 쥐어줘서 토큰 낭비하는 것보다 깡통째로 일을 시키는건 어떨까? 를 고민하고 있어요. 깡통도 결과물이 괜찮아서요.

오히려 하네스가 모델의 자율성을 좀 많이 제한하는 느낌도 있구요.

@park_jinwoo https://t.co/6vkINwk6F7

안그래도 오마이파이가 요즘 평가가 좋아서 고민입니다.

@park_jinwoo 전 그렇게 설정해 둔 하네스가 둘 (Opencode / codex) 가 있어서 반대로 고민하고 있습니다.

가벼운 하네스를 새로 하나 짜야 하나 아니면 기존 하네스에 붙여서 굴려야 하나 ;ㅁ;

@transurfer Pi 가 에이전트 하네스 중에선 제일 가볍다는 말이 있어서

오마이파이 썼다가 실망하고

파이 자체를 써볼까 아니면 이쪽에 잘 되있다는 kimi Code를 써볼까 또 고민하고 있습니다.

@ririnto_ri omo가 초기형 하네스다보니 아무래도 기능이 많지만 제악도 많다는 생각이 듭니다.

아끼는 하네스였는데 이젠 좀 놔줄 때가 되지 않았나 싶기도 하네요.

@simpletrouble6 @superalesha 고맙습니다.

밤에 Oh my pi 를 시도해 봤는데 결과가 좋지 않았거든요. 지금은 Codex 에 심플 워커 플러그인을 만드는 것을 도전해 보고 있는데, 딥시크 하네스도 도전 목록에 넣어 두겠습니다.

감사합니다.