로컬 LLM 실험실

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   몇일 전부터 /goal을 괴롭히던 크래시는 허접한 결말을 맞이했는데, 시연을 위해 모니터 하나에 연결해 둔걸 까먹었던 것. 모니터 빼고 더미 플러그로 전부 도배하니 해결됨.

   모니터 없는 윈도우 서버에 원격 접속하면서 화면 안떠서 고생하시는 분들은 더미 플러그 하나 사 두시면 효과가 좋습니다. https://t.co/PtjiL8K3bq

   원문 보기
2. 2

   어쨋건 작업환경도 고쳤겠다 Cline 을 테스트해볼까 PiCode를 테스트해볼까. Gemma4 12B 에 Vs코드를 붙이거나 간단한 텍스트 편집기를 붙이면 SC 지식이 있는 전공자들에게 실용적인 에이전트가 될 거라는 생각을 계속 함.

   난 아니지만.

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   어짜피 AA의 코딩 인덱스는 신뢰가 안되는 물건인게 공개도 오래 되서 인공지능들이 죄다 학습하고 있는 것도 그렇지만

   Gemini 3.1 pro 의 위치가 모든 신뢰를 무너트림. https://t.co/n86hrj9eZE

   원문 보기
2. 2
   그 외 마누스 스파크라던가, 소넷이라던가 3.5 Flash 라던가 그리고 그럴 리 없는 30B급 로컬모델의 위치라던가 이젠 죄다 벤치 학습된 결과물, 즉 기출문제 다 보고 나서 푼다는 느낌이 들어서 신뢰할 수 없음.
   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   베이스모델인 Gemini가 망가지니까 연결된 notebook LM 이 더 심하게 망가지는거 보고 있자니 좀 많이 많이 아쉽다.

   작년까지만 해도 저걸로 정말 많은 걸 했는데. 진짜 이게 미래인가 싶었는데 이제 저걸로 일하는 분들 고통받는 거 보니 꽤 슬프네.

   원문 보기
2. 2

   Gemini 3.5 Flash 가 자기검증 없이 ‘하지만 빨랐죠?’ 를 하고 있으니 연결된 notebook LM 도 계속 망가진 결과물을 내뱉기 시작함.

   새 모델로 강제로 넘어가기보단 그냥 Gemini 3 Flash + 3.1 Pro 조합으로 어떻게든 버텨보지.

   이럴 바엔 그냥 Gemma4 31b의 결과가 낫겠다 싶을 정도.

   원문 보기
3. 3
   그래서 같은 파라메터 수준의 Deepseek v4 Flash 와 계속 비교됨. 벤치자료는 화려하지만 실제론 심한 환각에 아무짝에 쓸 모 없는 gemini 3.5 Flash와, 비슷한 성능에 월등히 저렴하면서도 에이전틱에는 묵묵히 자기 일을 하는 Deekseek v4 Flash. 사람들이 많이 찾는 데에는 이유가 있는 법.
   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   다들 페이블 서비스 중단에 충격을 많이 받으시고 그 대안으로 소버린Ai, 로컬Ai를 이야기 하시지만 그 둘은 어디까지나 보조적인 역할은 수행할지언정 대안이 되진 않을꺼에요. 올 연말에도 대부분 페이블5.2, Gpt6 같은 SOTA를 메인으로 쓰겠죠. 그러니 너무 걱정하지 않으셔도 된다고 생각해요.
   원문 보기
2. 2

   지금의 프론티어 Ai 회사들은 두가지가 필요하죠.

   돈과 사용자.

   지금의 자금 부족과 사용자 확보 전략은 어떻게든 여러분들에게 서비스를 제공하도록 만들 강력한 유인을 생성해요. 그러니 너무 심려 마시고, 인프라에 신경쓰기보다는 무엇을 해야 하는가에 좀 더 집중하시길 권하고 싶어요.

   원문 보기
3. 3

   그러니 페이블 사건으로 기업들이 로컬Ai로 전환한다, 그걸 위한 추가 인프라를 투자한다 이런 것들은 전 큰 의미 없는 담론이라고 생각해요. 잠깐 이슈화는 될 수 있지만 금방 사라져버릴.

   코로나때 그렇게 찾던 마스크와 손소독제가 지금은 그저 유행품이 된 것처럼 말이죠.

   원문 보기

Serio의 X 포스트

Serio가 @Multi_Serio_Ai에 게시한 원문 포스트를 보존한 글입니다. X 원문 포스트

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   사실 AI 말하는 많은 한/일 전문가보단 손정의가 더 AI를 명확하게 꿰뚫고 움직이고 있다고 생각함. 어설피 우리 것을 만들기보단 일찍이 가장 앞선 것에 투자해 지분을 잔득 태워 나를 버릴 수 없게끔 만들면 되는 것임. 그게 투자고. 우리한테도 그 기회가 올텐데 잘 잡아야 함.
   원문 보기
2. 2

   일본은 거의 대부분의 것들을 직접 만들려고 노력한 나라고 실제 성과도 많았고 지금도 그 성과로 굴러가고 있는 부분도 많음. 그런 일본에서 왜 ‘소버린 ai’ 담론이 학계와 수면 위로 안 올라오는지에 대해서도 한번쯤은 고민해 볼 필요가 있음.

   일본은 안하지 않았음. 때론 안되는건 안되는거임.

   원문 보기
3. 3

   컴퓨터의 역사 특히 8090에 일본 컴퓨터 역사를 들여다 보면 지금의 ‘소버린 Ai’ 에 많은 시사점이 있을 거라고 생각함. Ai 는 자동차도 아니고 제철도 아니고 반도체도 아님.

   ‘임자 해 봤어?

   를 가져다 대서 해결될 문제가 아니란 소리임. 추격자 전략은 초고수들의 진검승부장에선 통하지 않음.

   원문 보기
4. 4

   Ai 와 슈퍼컴퓨터 분야에 일본이 50년간 들인 노력을 알면 ‘그건 일본이니까 못하는거야’라는 말을 할 수 없음.

   그런 일본에서 가장 유명한 LLM 회사가 구글 출신이 세운 사카나Ai 라는 것은 정말 많은 고민거리를 던져준다고 할 수 있음. https://t.co/g7F5MIA7U5

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   클로드 금지되서 로컬에 관심을 가지시는 분들이 많은데, dgx spark*2 로 2천만원을 써서 얻는 성능이 딥시크 v4 대충 지피티 5.3 이나 오푸스 4.5 정도 성능이니 한템포 쉬면서 사건을 지켜 보심이 어떨까요.

   이참에 제 헤더 고정글도 읽어 보시구요.

   https://t.co/7znw7F3Oby

   원문 보기
2. 2

   아니 이게 왜 알티타영. 님덜 2천만원이면 클맥 200불 70개월 구독하는 비용이라구요. 그사이 클로드가 최소 30번을 버전업 할거라구요.

   나만의 끊김없는 무검열 Ai 꿈꾸시는 분들 많은데 저도 구축해놓고 투입은 정말 한정해서 씁니다. Gpt pro, 5.5 xhigh가 생산성이 월등해여. https://t.co/3LQwof0vOW

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   악당들이 머리좋은 경우가 많아, 아이디어가 있어도 악용할 거 같은 경우에는 공개 장소로 넘기지 못하고 계속 삼키게 됨. 로컬 모델들을 쓰면서 해당 역량이 가장 잘 적용될 수 있는 부분이 번역 부분인데, 원저자의 저작권 침해 소지가 될 수 있는 부분이 많아 항상 개인의 영역으로만 남기게 된다.
   원문 보기
2. 2

   이건 정말 나중에 그런 쪽에 연이 닿을 때 조심스럽게 해 보는 것으로. 항상 그렇지만, 안될 것을 되도록 억지로 노력할 필요는 없음. 과한 도움은 아니함만 못함. 내 자리에서 내 것을 하다가 정말 연이 닿으면 함께하고 도와주는 방향으로 가는 것이 좋음.

   인생에서 그걸 깨닫는 게 제일 힘들었다.

   원문 보기

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   요 몇일 알람이 엄청 울었는데 조용해졌당.

   하루 LLM+ AI 글 안썻다고 이러다니.

   역시 트위터는 금새 불붙었다 금새 사그라짐.

   원문 보기
2. 2
   오히려좋아.
   원문 보기