로컬 LLM 실험실

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   Gemma4 QAT 가 나왔네요. 다만 BF16 > QAT4 로 드라마틱한 효과가 나온것처럼 과장했지만 실제론 매직그래프죠. 대부분 Q4_K_S 양자화 쓸텐데

   Gemma4 31B 17.4 > 17.3G Gemma4 26B 16.5G > 14.2 GB Gemma4 12B 6.76G > 6.72G

   Dense 모델에선 거의 효과가 없고, Moe 모델에선 효과가 꽤 있네요. https://t.co/s6mYacJS6U

   원문 보기
2. 2

   하지만 대부분 주력으로 쓰시는 Gemma4 26B Moe를 큰 변경 없이 16G Vram 에 올려놓는 것은 꽤 멋지네요. 여기에 멀티모달 삭제 하고 이래저래 하면 잘 하면 Q4 양자화 12G 수준에도 볼 수 있겠네요. KV Q4로 128K가 가능할 수 있어요.

   음. 12B 를 먼저 발표한 건 이런 이유였던건가.

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   미소스 아니 한 티어 위인 직원용 claude-oceanus-v1-p 가 유출됬다는 타래들이 돌아다니는데 거짓말이겠지만 사실이라면 회사에 진짜 치명적 상황 아닌가? Api 가 어디선가 계속 유출되는데 제어 불가능한 상황이든, 고의로 유출시키든 뭐든.

   내가 클로드 까지만 이건 사실이 아니길.

   원문 보기
2. 2
   사실 대부분 미소스입네 가리고 돈빨아먹는 스캠이 대부분일거라고 생각함. 하지만 그 근본에는 헤러틱 같은 크래킹 툴들이 있으니 그런 걸 지적해야 함. 사실 qwen 3.6 27b 를 opus 조금 더해 증류시키고 윤리코드 해제한 다음 미소스 이름 붙여서 스캠하면 대중은 쉽게 진실을 파악하기 어렵다.
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   추론의 질과 품질은 배경 지식에 큰 영향을 받습니다. 기초 능력치가 비슷하다고 해서 최종 결과물이 같을 거라고 보는 것은 완전 다른 이야기입니다. 이미 우리는 그걸 1960년대에 다중지능이론으로 가설을 만들고 이후 다양한 검증과 실험으로 증명해 내었습니다.
   원문 보기
2. 2
   모델의 큰 파라메터는 단순히 능력이 뛰어남을 말하는 것은 아닙니다. 다만 모델의 높은 추론 능력이 모델의 지식과 만나면 능력은 폭발적으로 올라갑니다. 낮은 파라메터 모델이 벤치 결과는 높아도 실제 작업 결과는 수준이 낮은 이유가 여기에 있다고 생각합니다.
   원문 보기
3. 3
   다만, 낮은 파라메터 모델이 가지는 장점으로 적은 Vram 사용이 있고 필요한 지식은 적절한 장치로 외부기억을 붙여 주면 보완할 수 있다고 생각합니다. 옵시디언 등을 이용해 외부 기억을 잘 구축하셨다거나, 자체 서사가 있는 PR등의 경우 gemma4 13B가 도움이 될 수 있을 겁니다.
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   그런데 말입니다. 당신이 최소 3090, 혹은 32G 이상의 통합 메모리 맥북을 가지고 있으면 Gemma4 12b가 필요할까요? 코딩은 Qwen 3.6 27b (혹은 Qwopus)가 낫고, 언어구사는 Gemma4 26b-A4B 가 더 나은데.

   항상 그렇지만 뭔가 안된다면, 힘(돈)이 부족한 건 아닌지 생각해 봅시다. https://t.co/cwX8ltFn0H

   원문 보기
2. 2

   그리고, 매번 그렇지만 3090 을 중고로 사느니 Gpt pro 100불짜리를 6개월 결제합시다. 맥북 M5 32G 를 사느니, 그냥 클로드건 Gpt건 200불짜리 1년 결제하시면 됩니다.

   그쪽이 최종 생산성 면에서 압도적입니다.

   아니면, 공개 못할 썸씽이 있으시거나 한거죠.🫠

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   패치가 되었다니 다시 시도해봅니다.

   Q4_K_S, KV Q4 12.25G

   128K라면 16G 맥북에서도 무난하게 돌릴 수 있겠네요. https://t.co/8hVXGEMvFd

   원문 보기
2. 2

   어디까지나 참고지만, 벤치상 비슷한 수준이 되어야 하는 lfm2.5-8b-a1b 의 경우는 다음과 같습니다.

   언어는 아니고, 다른 걸 시켜 봐야 할 거 같네요. https://t.co/FvIpLOs6mv

   원문 보기
3. 3

   원샷프롬프트 ‘구글 공룡 게임 만들어줘.’ 결과. 왼쪽 위부터 시계방향으로 lfm2.5-8b-a1b. || gemma-4-12b-it gemma-4-26b-a4b-it || qwopus3.6-27b-v2

   특이점 :

   • lfm2.5-8b 는 게임이라니 유니티 코드를 뱉음
   • qwopus3.6-27b-v2 는 완성도는 우수했으나 조작이 안되는 버그 발생. https://t.co/lKr4SoUM9N
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   내가 맥이 한대도 없으니 맥 환경에서 LLM 이 어떤 서빙 환경인지 알기 어렵네. 다만 건너건너 보고 있는 입장에선 작동 구조상 프리필 딜레이가 크고 이게 램이 커도 큰 모델을 서빙하는데 한계로 다가오는 듯. MLX 가 힘을 내야 하는데 여전히 꽤 불안정한 거 같고.
   원문 보기
2. 2
   그래서 사실 대부분의 맥 유저가 16g 램 사용자인 상황에서 gemma4 12B dense는 꽤 의미가 있을 거라고 생각함. 그런 분들에에 26B나 31B, 27B나 35B는 전부 무거운 모델들이니까. 그리고 큰 기대를 하지 않으면 이정도 정확도는 다양한 부분에서 보조적으로 사용할 수준은 됨. 메인은 아니지만.
   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   Lmstudio 기준 12B Q8(KV도 Q8) 256K 의 Vram은 이정도. https://t.co/9W3Q08aErt
   원문 보기
2. 2

   요즘 Gemma4 테스트용 스크립트로 쓰고 있는 영한 번역 작은 아씨들 1장 테스트 결과

   << Gemma4 26b || Gemma4 12b > https://t.co/hELvL9x50O

   원문 보기
3. 3
   4번 연속 루프 터지는데 lmstudio 로 더이상의 테스트는 무리일 듯. https://t.co/vHTC4Xz3pk
   원문 보기