조금 타래를 더 읽어보니, 원 글의 의도도 ‘Ai조금 써봤다고 깝치지 마라’ 였던 걸로.

저도 조심하겠습니다.

형 긁히지마요 사실은 사실이라고요. 오픈클로/헤르메스를 어떻게 회사에 설치하겠어. 우리 회사 뒷문을 열어주는 꼴이니까.

나만 쓰는 컴에서 내가 관리를 잘 해가면서 쓰는 것 이상을 넘어갈려면 앞으로 1년은 더 걸릴꺼니까 https://t.co/kLOAqPjmBY

새 블로그 https://t.co/uIouJIIdzg 가 어느 정도 안정화가 되었네요.

1. 트위터에 작성한 글 크롤링 / 백업
2. 블로그 글 자동화 작성

• 비평 작성에 로컬 모델(gemma4 31b)사용
• 자동으로 블로그에 업로드

코덱스 프롬프트 하나면 크롤링/검수/비평작성/업로드까지 한방에 되니 편하군요. https://t.co/SRtFB5JW0p

다리오가 말하길

1. 오픈소스 모델은 오픈소스가 아니다. 하지만 내부에서 어떤 것이 일어나는지 알 수 없다. 오픈웨이트라 부르자.

2. 나는 오픈소스 모델을 신경쓰지 않는다. 우리것보다 나은지만 본다.

3. 무료가 아니다. 누군간 클라우드로 서비스해야 한다. 추론은 그쪽에서 한다.

영상만 보면

1. 다리오는 오픈소스 Ai 모델들에 대한 이해가 낮음.
2. 오픈소스 Ai 모델들의 성능을 부정적으로 봄
3. 추론에 들어가는 비용을 부풀려, 수익을 내야 할 근거를 찾음.

교만과 자만은 실패의 원인이 된다.

사실 처음에는 ‘다리오 사실 Ai 잘 모르는 거 아냐? 코즈믹 호러에 빠져서 공포 마케팅 하는 거 아냐?’ 같은 트위터스러운 트윗을 하려고 했지만 영상을 꼼꼼히 보고 번역하고 해석해서 무슨 의도로 말했는지 파악해 보는게 낫겠다 싶어서

노잼이 되었습니다.

트친님들의 심판을 받겠습니다.

기술에 관해서 말하자면, 이건 다소 장황하게 말하는 것이지만, 저는 오픈소스가 AI에서는 다른 분야에서 작동했던 것과 같은 방식으로 작동한다고 생각하지 않습니다.

주된 이유는, 오픈소스에서는 모델의 소스 코드를 볼 수 있지만, 여기서는 모델 내부를 볼 수 없기 때문입니다.

일종의 해석 가능성 인터페이스의 일부로 말입니다. 지난번에는 스티어링과 관련된 작은 기능들도 일부 했습니다.

그래서 저는 오픈소스 여부로 생각하는 것은 잘못된 축이라고 봅니다. 경쟁을 생각할 때 저는 어떤 모델이 우리가 하는 작업에서 뛰어난지를 봅니다.

저는 오픈소스라는 것은 사실상 핵심을 벗어난 문제라고 생각합니다.

• 하지만 무료이고 실행 비용이 싸다면—

무료가 아닙니다. 추론을 실행해야 하고, 누군가는 그 추론이 빠르게 돌아가도록 만들어야 합니다.

삼성하고 엘지에 모듈형 주택을 공급하는 회사.

https://t.co/dNhfkN2C1D

https://t.co/jTZf4qfNhS

M5 ultra 768G 흠

영상/생산성 측면으로 접근해야지 AI 서빙을 저걸로 하는 건 좀 아닌듯 ㅡㅡㅋ

그럴 목적의 쓰레드리퍼/제온 시스템을 별도로 짜는 가격이면 m5 ultra가 성능/가격 면에서 더 좋은 선택지가 될 수 있음. 뭐 산업, 연구실용 물건이지 소매용으론 엄청 비싼 인플루언서의 놀이감일 뿐.

아! 이거가지고 ai서빙한다는 조회수팔이 IT FOMO 양키 파딱들 블락하는 키워드론 딱이겠네.

Bc-250 + Gemma4 12b 해서 체험용 서비스에 백그라운드 Api 걸어놓고 하네스 포함 약 2천 토큰 프롬프트 싱글턴 해보니 약 90초 걸림. 종종 120초 타임아웃. 테스트시 디코딩 30Tok/s 정도 나왔으니까 입력, 추론, 출력에 예상치 안쪽인가.

한대만 더 있으면 서비스 찍먹해 봐라 용도로는 쓸만할 듯.

Gemma4 는 싱글턴 아웃풋, 말하는 앵무새 용도로는 쓸만한 듯. 다만 3090 리눅스 서버에 Vllm 으로 멀티서비스 제공하는 쪽이 BC-250 서버를 들이는 것보다 더 좋은 모델을 빠르고 싸게 공급할 수 있을 듯.

이제 슬슬 PP/DP와 Vllm 을 들여다 볼 시점인가.

Gemma4를 싱글턴 프롬으로만 쓰지, 에이전트용으로 쓰지 않음. 말하는 앵무새가 일을 하려면 도구를 쥘 줄 알아야 하는데 정확도부터 엉망진창인데 무슨. 일단 Gemma4 툴 콜링 고쳐 놓으면 그 다음에 믿겠음.

근데 Qwen 3.6 27b 의 툴 콜링 정확도가 85% 수준이던데 과연 구글이 할 수 있을까.