로컬 LLM 실험실

ㅋㅋㅋㅋ 아니 이거 왠지 ㅋㅋㅋㅋㅋ 제목을

‘로컬 Ai 가 Gpt 따는거 보여줌’

이라고 짓고 싶어지는데요?

왼쪽 Qwen 3.8 27b (하네스 없음. Lmstudio에서 바로출력) 오른쪽 Gpt 5.6 Sol (high+superpower)

왼쪽은 싱글턴이고 오른쪽은 슈퍼파워 리딩에 맞췄는데 코드 량 차이가 2.5배. https://t.co/CsIzAjqvgH

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

결과물.

왼쪽 Qwen 3.8 27b (하네스 없음. Lmstudio에서 바로출력) 오른쪽 Gpt 5.6 Sol (high+superpower)

모델 간 해석 차이 + Qwen 이 만든 쪽이 조금 오류가 있긴 한데 ㅋㅋㅋ 이거 왠지 Gpt 5.6 Sol이 로컬 모델한테 디자인 벤치 따이는 결과가 나올지도 모르겠다는 생각이 아주 조금 듭니다. https://t.co/qA89WoIorq

@ROUT_DEVELOP 사실 일부러 보여드린 것도 있어요 ㅋㅋㅋㅋ

Gpt Sol은 원작 구글 공룡 게임에 가까워지려고 노력했고, Qwen 3.8은 자기가 할 수 있는 가장 우수한 공룡게임을 만들려고 했죠.

그래서 더 재미있는 결과물이라 생각합니다. 매번 새 모델 나올때마다 공룡부터 짜 보는 이유에요.

테스트 2

< 왼쪽 Lmstudio chat

38,206자

오른쪽 > Qwen 3.8 27b + Opencode + OMO + SuperPower /goal 구글 공룡 게임 만들어줘 19,342자 https://t.co/DKGhRxo4AA

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

결과물 : Qwen 3.8 27b

< 왼쪽 Lmstudio chat 21분 29초

오른쪽 > Qwen 3.8 27b + Opencode + OMO + SuperPower 45분 8초

뭐가 나은지는 각자 다르지만 하네스를 거친 게 좀 더 ‘구글 공룡 게임’ 에 가까워져 있습니다. https://t.co/5fUBfGKJZD

Qwen 3.6 27b를 깡으로 일 시키면 재미있는 결과가 나오는데 설치해둔 하네스를 끼워주니 제작시간도 더 걸리면서도 심심한 결과가 나오는 상황.

제대로 쓰려면 큰 제악 없는 가벼운 하네스를 찾아야 되는 상황에 직면했네요.

@byeolbyeol_e 하네스 많이 쥐어줘서 토큰 낭비하는 것보다 깡통째로 일을 시키는건 어떨까? 를 고민하고 있어요. 깡통도 결과물이 괜찮아서요.

오히려 하네스가 모델의 자율성을 좀 많이 제한하는 느낌도 있구요.

@park_jinwoo https://t.co/6vkINwk6F7

안그래도 오마이파이가 요즘 평가가 좋아서 고민입니다.

@park_jinwoo 전 그렇게 설정해 둔 하네스가 둘 (Opencode / codex) 가 있어서 반대로 고민하고 있습니다.

가벼운 하네스를 새로 하나 짜야 하나 아니면 기존 하네스에 붙여서 굴려야 하나 ;ㅁ;

@transurfer Pi 가 에이전트 하네스 중에선 제일 가볍다는 말이 있어서

오마이파이 썼다가 실망하고

파이 자체를 써볼까 아니면 이쪽에 잘 되있다는 kimi Code를 써볼까 또 고민하고 있습니다.

@ririnto_ri omo가 초기형 하네스다보니 아무래도 기능이 많지만 제악도 많다는 생각이 듭니다.

아끼는 하네스였는데 이젠 좀 놔줄 때가 되지 않았나 싶기도 하네요.

@simpletrouble6 @superalesha 고맙습니다.

밤에 Oh my pi 를 시도해 봤는데 결과가 좋지 않았거든요. 지금은 Codex 에 심플 워커 플러그인을 만드는 것을 도전해 보고 있는데, 딥시크 하네스도 도전 목록에 넣어 두겠습니다.

감사합니다.

개발서버는 Lmstudio 로 모델 다운로드 중. Api 서버는 Codex 로 llama.cpp 서빙 설정 세팅 중.

아 불타는 금요일 밤 토요일 새벽이 되겠군. https://t.co/QSBBRrN8np

추론버블 38K 아직 출력은 안하고 여전히 추론 꿈나라 중

짜피 다시 출력할텐데 추론 버블 그만 키우고 출력좀 하지? ㅋㅋㅋ https://t.co/ql7FOuHA6u

Qwen 3.8 27b (Lmstudio chat으로 출력) 싱글턴 프롬 ‘구글 공룡 게임 만들어줘.’ 결과물 영상.

장점 : 로컬 30B 이하 작은 모델에서 볼 수 없었던 우수한 성능. 단점 : 매우 큰 추론 버블과 그로 인한 작업 시간 증가. (토큰 61408 사용, 37.9Tok/s : 3090, 21분 29초) @Alibaba_Qwen @QwenDevs https://t.co/RYv0i5NROj

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

Qwen 3.6 27b 도 나왔을 때 감탄하면서 썼는데 이젠 진짜 훌륭한 물건을 만들었네요.

정말 칭찬하고 싶음. 대단함.

https://t.co/rvpcBmXtp7

Qwen 2.8 27b는 설정이 2개로 단순화. Thinking Mode와 Instruct 인데, 검증을 더 해 봐야 알겠지만 성능을 다 내려면 Thinking Mode가 적절할 거 같아요. 256K 컨텍스트니 이 모델을 메인 모델로 작업을 하면 명령 3회 정도마다 하네스가 컨텍스트 압축을 할 거 같네요.

밤에 몇몇 중국분들이 reasoning variants를 Effort medium 으로 조정하라 했는데, 온/오프 외에 조정할 수 있는 방법이 없네요.

근데 Instruct로 한번 써볼까 싶기도 해요. 추론버블을 그냥 라이브로 뽑아내는게 나을수도 있겠음. https://t.co/D9We5CNx6z

Qwen 3.6 27b의 과도한 추론 버블 때문에 Medium을 추천하는데, 솔찍히 아직 잘 안 와닫고 있음.

로우파라메터 모델의 한계를 보완하기 위해 Max(xhigh)에서 의도적으로 긴 추론을 하는 것으로 설계된 듯 보이는데 그걸 굳이 억지로 낮추면 능력의 상한선이 낮아질텐데.

좀 더 관찰해 봐야 할 듯.

@The_RedW0lf 다들 새로운 장난감(?)에 고민이 많은 것 같습니다. 저는 주입되는 프롬프트를 최소화 하는 방향으로 일단 실험해 보고 잇습니다.

의견 감사합니다.

메타 뮤즈 글리머 30B 돌려봐야 알겠는데, Qwen 3.6 27b의 문제점이 지나치게 큰 추론버블인 걸 감안하면 그것보다 훨씬 적은 추론버블+더 높은 속도로 비슷한 성능을 내 주면 라마의 컴백에 적절한 결과가 아닐까 싶음.

테스트하려고 설치하는 중.

현재 로컬의 제왕에 군림하는 Qwen 3.6 27b의 후계인 3.8 의 발표가 하루 남은 상황에서 기습 발표는, 본인들도 Qwen 3.6 27b과 비슷한 수준의 물건이 만들어졌다는 것을 인식하고 있기 때문일 것.

다만, 이전부터 한글을 능숙하게 썼던 라마이기 때문에, Gemma4의 대체가 되는게 관건.

업계에서 라마 변형 모델을 여전히 많이 쓰고 있기 때문에, 라마의 후계인 뮤즈 글리머의 발표를 반기는 사람들이 많을 것임. 하지만 새 모델이 오래 걸렸고 이름까지 바꾼 만큼, 많은 부분에서 라마와 다른 결과가 나올 것이라 생각됨.

모든 것은 테스트 결과를 보고 ㅡㅡㅋ

매번 새 로컬 모델 나올때마다 ‘구글 공룡 게임 만들어줘’ 싱글 프롬프트 시키는데, 올해 지금까지 봤던 결과물 중 가장 최악의 결과물이 나왔네요.

왼쪽은 Qwen 3.6 27b https://t.co/u1FQPXxEu6

약 10K의 일본어 텍스트 묶음을 번역시켰는데, 번역 편의성을 위해 5천 토큰에서 청킹을 했는데도 불구하고 추론 과정에서 루프 오류가 심해서 작업을 제대로 끝낼 수 없음. 누락된 번역도 조금 있고.

llama.cpp 에서 별도 작업을 시켜봐야 할까. 지금 상황에서 사용하는 것은 좀 무리일 듯.

왕의 귀환을 기대했는데 왕의 몰락을 목격하다니 가슴이 아프다.

하지만 어쩌겠는가.

@vdweqn 그럼 오히려 더 엉망인거애요 ;ㅁ; 이전엔 단독 실행 했는데 이번에는 gpt 5.6 한테 오케스트레이션 시커서 에이전트 상태로 검증한 거거든요.

Gemini처럼 벤치맥싱하고 실 사용 결과는 엉망인 모델이 되지 않을까 우려스럽네요. 사용 방법을 좀 더 가다듬어 봐야 할까요…

몇번 다시 테스트하고, 커뮤 반응을 봐도 결과물의 내용과 질이 너무 떨어져서 쓸 수가 없다.

최소 한 세대 이전 수준의 결과물. 외관상 작년 여름 Gemini 2 정도 수준. Qwen 3.5 9b 나 Gemma4 E4b 와 비슷.

이걸 30B라고 가져오면 안됨. 이게 벤치마크가 이런 결과라면 밴치맥싱이 의심되는 물건. https://t.co/wRXBcPn3uq

인용 문맥: @Multi_Serio_Ai의 인용 원문 (Serio 작성 글과 구분)

< Dgx Spark 가 필요한지 체크하는 법. >

1. Opencode Go 플랜에 가입 https://t.co/jgqqHNkJRb

2. Opencode 에서 쓰던, 본인이 쓰는 에이전트/하네스에 물려 쓰던 쓴다.

3. 1달 뒤, 주어진 사용량을 다 썼는지 체크한다.

다 썼는가? > Go 계정 하나 더 지르세요. 덜 썼는가? > 스파크 왜 삼? https://t.co/bojhOIETEM

메모리 대역폭을 줄여서, 가격과 성능을 고의적으로 떨어트린 기기를 파는 건 그래픽카드 업계(특히 엔비디아)의 오래된 판매 전략 중 하나고 그들은 학습한 방법을 그대로 더 수익성 높은 고객들에게 써먹는 중일 뿐이죠.

게이머들은 128bit에 오래 시달려 왔습니다. :)

인용 문맥: @mike64_t의 인용 원문 (Serio 작성 글과 구분)

다만, 지금 Deepseek v4 flash 0731을 당장 로컬에서 큰 노력없이 쓸만하게 돌릴 수 있는 제일 저렴한 기기가 Dgx spark x2 라는 건 부정할 수 없는 사실이기도 하죠.

사서 쓸 것인가, 저렴한 api 호출로 참으면서 다음을 기다릴 것인가는 개인의 선택임.

이미 가격이 너무 올라가서 진입이 불가능한 CMP170

• 대부분 토큰광산에서 장기 노예채굴
• 시작 가격이 너무 높음
• 물리적 튜닝 필요함 (Pci-ex X 4)

저 쯤 되면 진입장벽이 너무 높음. 접근할 수 있는건 소수에 불과. 권장하고싶지 않음. BC-250이 순한맛이었다면, 저건 불닭맛임.

다만, 이래저래 잘 하면 200으로 A100을 한장씩 사는거라 아직까지도 극초가성비인건 맞음.

비싼데 싼거.

다만 한장으론 Qwen 3.6 27b 의 Q8정도가 한계임. 그 이상은 X2~4를 해줘야 본격 의미가 생김.

여전히 개인용은 아님. 구매 및 사용에 주의.

누가 Dgx Spark X 2 꽁자로 줬으면 좋겠다.

내 돈으로 사긴 아깝고 ^^;;;;;

다음 Gemma 4.1 혹은 4.5 는 20~25B의 Dense 모델이 필요합니다. 31B Dense는 너무 크고 무겁고 느립니다. Vram 32G 이상 되는 (5090 이상) 사람들만 그걸 제대로 활용할 수 있습니다.

12B와 24B 가 적절하다 생각합니다.

이번에 데브포스트 OAI 빌드위크에 제출한 영상입니다. 전부 Codex로 스토리보드 편집 인코딩 했고, 음성만 Qwen TTS 로 로컬에서 만들었습니다.

https://t.co/8YkgAftbag