로컬 LLM 실험실

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

1. 1

   필요해서 Melo TTS, QwenTTS, MossTTS, OmniVoice 를 테스트 중인데 현재까지 테스트한 걸로는 한글 저지연 고속 발화에는 OmniVoice가 가장 좋았어요.

   혹시 더 좋은 거 아시는 분 계실까요?

   지금은 생성에 약 2초 (1900ms) 정도 지연이 있는데 조금 더 빨랐으면 좋겠네요.

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   디퓨전젬마 이건 손 좀 심각하게 봐야겠다 싶습니다.

   • 입력 토큰 한계가 낮다보니 단답 외에 할 수 있는 말이 잘 없음. 모델이 한마디 툭 뱉곤 바로 멈춰버림.
   • 병렬로 만들어서 산술 측정 속도는 굉장히 빠른데, 실측 속도는 크게 체감이 안됨. 에이전트에 물려서 쓰는 것도 어려움.
   원문 보기
2. 2
   • 낮은 수준의 Rag 나 지식베이스 물린 뒤 상업 레벨의 낮은 수준 (Vram 32G) 머신에서 고속 병렬으로 빠르게 응답하는 챗봇에 물려 서비스 하는 ‘특정 목적’ 으론 괜찮아 보입니다만 보편적인 작업, 특히 요즘 메인인 에이전틱 업무에 투입하기에는 부족한 점이 많아 보이네요. https://t.co/fi2VJHc9ne
   원문 보기
3. 3

   스펙에서도 그랬지만, 여전히 이 정도 상황.

   사실 Gemma4 26B a4b mtp 가 속도가 엄청 올라갔기 때문에 구동이 가능하신 분들은 그냥 저거 쓰면 됩니다. https://t.co/rtBFHAJe9Z

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   아 디퓨전젬마 에이전틱으로 쓰기 되게 까다롭네. 단발성 챗봇 위주로 쓰라고 모델이 설계되어 있음. 생각보다 세팅에 시간이 걸리네요.
   원문 보기
2. 2

   더 재미있는 건, Cli 기반의 기존 디코딩젬마 서빙 전용 llama.cpp 를 agent 가 쓰게끔 서버 형태로 변환하는 작업을 Deepseek V4 Flash 가 해냈다는 사실.

   모든 수치가 높은 최상의 모델일 필요가 없음. 중요한 것은, 내가 원하는 것을 모델이 해내냐는 것. 그러면 남은 건 길을 보여주는 것 뿐.

   원문 보기
3. 3
   Aㅏ… https://t.co/cQtwsSNI1H
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   엔트로픽이 ‘이 위험한 모델을 오로지 우리만 관리할 수 있어!’ 라며 온갖 제한으로 떡칠한 미소스를 내놓은 다음 날 바이트댄스가 ‘이미지 품질 평가를 위한 자기 진화 모델입니다.’ 라며 로컬에서도 돌아갈 8B 모델을 오픈소스로 가져오는 모습.

   마치 초한지를 보는 듯.

   https://t.co/ATLx17PDTj

   원문 보기
2. 2

   力拔山兮氣蓋世 힘은 산을 뽑고 기개는 세상을 덮건만,

   時不利兮神話不馳 시운이 불리하니 신화마저 달리지 않는구나.

   神話不馳兮可奈何 신화마저 달리지 않으니 이를 어찌해야 하는가.

   上市兮上市兮奈若何 상장이여, 상장이여, 그대를 어찌하면 좋은가.

   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

1. 1

   lmstudio 가 Gemma4 mtp 적용되는 llama.cpp 빌드로 버전업 되었길래 어시스턴트 버전들을 받았는데 아직 드래프트로 모델이 적용되지 않음.

   베타니까 좀 더 기다려봐야 할까.

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   반응과 결과물의 상황을 보면 ㅋㅋㅋ 클로드판 Qwen. 퀜을 포함한 중국 모델들이 추론버블을 엄청 크게 가져가서 부족한 성능을 보완하는데 미소스가 딱 그 행동을 하고 있음. 개발자들이 ‘이성을 가진 거 같다’ 말하는 것도 퀜에서 보이는 과도한 추론 끝에 나타나는 추론 붕괴 모습과 유사함.
   원문 보기
2. 2

   이럼 결과물이 들쭉날쭉 해 질 가능성이 높음. 어쩌다가 긁혀서 완성되면 좋은 결과가 나올 수 있지만 반대로 그 과정에서 무수히 많은 시도와 거부에 직면하게 될 것임.

   딸깍가챠라고 해서 진짜 될때까지 돌려요 돌려돌려 돌림판 우효를 만들어 놨는데 그리고 상업적 공개까지 해 놨는데 이게 맞나?

   원문 보기
3. 3
   정말 괜찮은가? 이걸 ‘New Era’ 라 불러도 되나? 완전 되다 만 야생마 같은 모델을 유저보고 주는 대로 퍼먹어 라는 태도로 나오는 게 과연 맞는가? 몇만불을 쓴 작업이 모델의 돌발행동으로 망가져도 ‘고객님 추론 루프 한세트 더! 다음엔 다릅니다!’ 로 가는게 과연 책임의식은 있기나 한 건가?
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   Apple 이 로컬ai 인 ‘뉴 시리’(새로운 엉덩이?)를 발표했는데, 계속 Dense 라고 말하지만 실제론 Moe 에 가까운 물건. 게다가 베이스 모델은 구글, 아마 Gemma4 인 듯 함.

   Gemma4 의 Moe 모델을 일부 잘라서 Moe의 활성화 파라메터를 램에 올리고, 비활성화 영역을 낸드에서 캐싱하는 것으로 보임. https://t.co/zggSdMBY8c

   원문 보기
2. 2
   깊은 지식은 부족해서 Gpt를 통해 추가 자료 조사+감사해 본 결과도 비슷한 내용. https://t.co/qrDjRyajWQ
   원문 보기
3. 3
   다만 이러면, 낸드의 캐싱이 엄청 늘어나고 안그래도 내구수명이 줄어든 현세대 메모리들로선 부하가 엄청 걸리게 될 것인데 그걸 애플이 어떻게 해결할지. 이거 해결 잘 못하면 대규모 리콜 사태에 직면할 수 있음. https://t.co/EP82A04jWX
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   바로 모두의 창업 2기 공지하고, ’ 사전 창업 교육을 받으러 오면 가산점을 드려요’ 라며 안내 오는데 나한테 지금 가장 필요한 건 교육이 아니라 돈. 가서 시시껄렁한 그것도 수준 떨어지는 교육장사꾼들하고 한담하며 놀 시간이 없음. 당신들보다 AI가 똑똑해.
   원문 보기
2. 2
   강연자들이 하나같이 커서급 자체 IDE를 만들고, 실제 로컬 AI서빙 서버를 몇백대 구축하고 병렬 운영하며, 구독자 10만급의 AI Vtuber를 복수로 프로듀싱 하는 사람들이면 모르겠다. 하지만 그런 사람들이 교육 강연을 뛰고 있을 리 없으니까 창업 교육이란 시간 낭비일 뿐임.
   원문 보기
3. 3

   당장 Ai 창업 지원 한다는 사람이 Openclaw를 구축해서 써 본 사람은 몇이나 될 것이며, 로컬 Ai 를 오케스트레이션해서 업무에 투입하는 사람은 몇이나 될 것인지? 그걸로 생산성 있는 결과물을 내놓는 사람은 과연 거기서 또 얼마나 될 것인지?

   목적전치 현상을 막는 방법은, 구조를 부수는 것이다.

   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

1. 1
   결국 New siri의 정체는 로컬 llm, 온디바이스 ai 였나. 20B. 활성 매개변수를 상당히 낮춘 Moe. 애플의 디바이스 상당수가 램이 작으니 고육지책이었겠지. 낸드 캐싱 엄청 할 거 같고. 저거 중장기적으로 부품 내구 관리 부분에서 괜찮을까 싶은데. 뭐 난 애플 기기 안쓰니 상관없나.
   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트