로컬 LLM 실험실

일본은 거의 대부분의 것들을 직접 만들려고 노력한 나라고 실제 성과도 많았고 지금도 그 성과로 굴러가고 있는 부분도 많음. 그런 일본에서 왜 ‘소버린 ai’ 담론이 학계와 수면 위로 안 올라오는지에 대해서도 한번쯤은 고민해 볼 필요가 있음.

일본은 안하지 않았음. 때론 안되는건 안되는거임.

컴퓨터의 역사 특히 8090에 일본 컴퓨터 역사를 들여다 보면 지금의 ‘소버린 Ai’ 에 많은 시사점이 있을 거라고 생각함. Ai 는 자동차도 아니고 제철도 아니고 반도체도 아님.

‘임자 해 봤어?

를 가져다 대서 해결될 문제가 아니란 소리임. 추격자 전략은 초고수들의 진검승부장에선 통하지 않음.

Ai 와 슈퍼컴퓨터 분야에 일본이 50년간 들인 노력을 알면 ‘그건 일본이니까 못하는거야’라는 말을 할 수 없음.

그런 일본에서 가장 유명한 LLM 회사가 구글 출신이 세운 사카나Ai 라는 것은 정말 많은 고민거리를 던져준다고 할 수 있음. https://t.co/g7F5MIA7U5

클로드 금지되서 로컬에 관심을 가지시는 분들이 많은데, dgx spark*2 로 2천만원을 써서 얻는 성능이 딥시크 v4 대충 지피티 5.3 이나 오푸스 4.5 정도 성능이니 한템포 쉬면서 사건을 지켜 보심이 어떨까요.

이참에 제 헤더 고정글도 읽어 보시구요.

https://t.co/7znw7F3Oby

아니 이게 왜 알티타영. 님덜 2천만원이면 클맥 200불 70개월 구독하는 비용이라구요. 그사이 클로드가 최소 30번을 버전업 할거라구요.

나만의 끊김없는 무검열 Ai 꿈꾸시는 분들 많은데 저도 구축해놓고 투입은 정말 한정해서 씁니다. Gpt pro, 5.5 xhigh가 생산성이 월등해여. https://t.co/3LQwof0vOW

이건 정말 나중에 그런 쪽에 연이 닿을 때 조심스럽게 해 보는 것으로. 항상 그렇지만, 안될 것을 되도록 억지로 노력할 필요는 없음. 과한 도움은 아니함만 못함. 내 자리에서 내 것을 하다가 정말 연이 닿으면 함께하고 도와주는 방향으로 가는 것이 좋음.

인생에서 그걸 깨닫는 게 제일 힘들었다.

요 몇일 알람이 엄청 울었는데 조용해졌당.

하루 LLM+ AI 글 안썻다고 이러다니.

역시 트위터는 금새 불붙었다 금새 사그라짐.

필요해서 Melo TTS, QwenTTS, MossTTS, OmniVoice 를 테스트 중인데 현재까지 테스트한 걸로는 한글 저지연 고속 발화에는 OmniVoice가 가장 좋았어요.

혹시 더 좋은 거 아시는 분 계실까요?

지금은 생성에 약 2초 (1900ms) 정도 지연이 있는데 조금 더 빨랐으면 좋겠네요.

디퓨전젬마 이건 손 좀 심각하게 봐야겠다 싶습니다.

• 입력 토큰 한계가 낮다보니 단답 외에 할 수 있는 말이 잘 없음. 모델이 한마디 툭 뱉곤 바로 멈춰버림.
• 병렬로 만들어서 산술 측정 속도는 굉장히 빠른데, 실측 속도는 크게 체감이 안됨. 에이전트에 물려서 쓰는 것도 어려움.

• 낮은 수준의 Rag 나 지식베이스 물린 뒤 상업 레벨의 낮은 수준 (Vram 32G) 머신에서 고속 병렬으로 빠르게 응답하는 챗봇에 물려 서비스 하는 ‘특정 목적’ 으론 괜찮아 보입니다만 보편적인 작업, 특히 요즘 메인인 에이전틱 업무에 투입하기에는 부족한 점이 많아 보이네요. https://t.co/fi2VJHc9ne

스펙에서도 그랬지만, 여전히 이 정도 상황.

사실 Gemma4 26B a4b mtp 가 속도가 엄청 올라갔기 때문에 구동이 가능하신 분들은 그냥 저거 쓰면 됩니다. https://t.co/rtBFHAJe9Z

더 재미있는 건, Cli 기반의 기존 디코딩젬마 서빙 전용 llama.cpp 를 agent 가 쓰게끔 서버 형태로 변환하는 작업을 Deepseek V4 Flash 가 해냈다는 사실.

모든 수치가 높은 최상의 모델일 필요가 없음. 중요한 것은, 내가 원하는 것을 모델이 해내냐는 것. 그러면 남은 건 길을 보여주는 것 뿐.

엔트로픽이 ‘이 위험한 모델을 오로지 우리만 관리할 수 있어!’ 라며 온갖 제한으로 떡칠한 미소스를 내놓은 다음 날 바이트댄스가 ‘이미지 품질 평가를 위한 자기 진화 모델입니다.’ 라며 로컬에서도 돌아갈 8B 모델을 오픈소스로 가져오는 모습.

마치 초한지를 보는 듯.

https://t.co/ATLx17PDTj

力拔山兮氣蓋世 힘은 산을 뽑고 기개는 세상을 덮건만,

時不利兮神話不馳 시운이 불리하니 신화마저 달리지 않는구나.

神話不馳兮可奈何 신화마저 달리지 않으니 이를 어찌해야 하는가.

上市兮上市兮奈若何 상장이여, 상장이여, 그대를 어찌하면 좋은가.

lmstudio 가 Gemma4 mtp 적용되는 llama.cpp 빌드로 버전업 되었길래 어시스턴트 버전들을 받았는데 아직 드래프트로 모델이 적용되지 않음.

베타니까 좀 더 기다려봐야 할까.

이럼 결과물이 들쭉날쭉 해 질 가능성이 높음. 어쩌다가 긁혀서 완성되면 좋은 결과가 나올 수 있지만 반대로 그 과정에서 무수히 많은 시도와 거부에 직면하게 될 것임.

딸깍가챠라고 해서 진짜 될때까지 돌려요 돌려돌려 돌림판 우효를 만들어 놨는데 그리고 상업적 공개까지 해 놨는데 이게 맞나?