새 블로그 https://t.co/uIouJIIdzg 가 어느 정도 안정화가 되었네요.

1. 트위터에 작성한 글 크롤링 / 백업
2. 블로그 글 자동화 작성

• 비평 작성에 로컬 모델(gemma4 31b)사용
• 자동으로 블로그에 업로드

코덱스 프롬프트 하나면 크롤링/검수/비평작성/업로드까지 한방에 되니 편하군요. https://t.co/SRtFB5JW0p

다리오가 말하길

1. 오픈소스 모델은 오픈소스가 아니다. 하지만 내부에서 어떤 것이 일어나는지 알 수 없다. 오픈웨이트라 부르자.

2. 나는 오픈소스 모델을 신경쓰지 않는다. 우리것보다 나은지만 본다.

3. 무료가 아니다. 누군간 클라우드로 서비스해야 한다. 추론은 그쪽에서 한다.

영상만 보면

1. 다리오는 오픈소스 Ai 모델들에 대한 이해가 낮음.
2. 오픈소스 Ai 모델들의 성능을 부정적으로 봄
3. 추론에 들어가는 비용을 부풀려, 수익을 내야 할 근거를 찾음.

교만과 자만은 실패의 원인이 된다.

사실 처음에는 ‘다리오 사실 Ai 잘 모르는 거 아냐? 코즈믹 호러에 빠져서 공포 마케팅 하는 거 아냐?’ 같은 트위터스러운 트윗을 하려고 했지만 영상을 꼼꼼히 보고 번역하고 해석해서 무슨 의도로 말했는지 파악해 보는게 낫겠다 싶어서

노잼이 되었습니다.

트친님들의 심판을 받겠습니다.

기술에 관해서 말하자면, 이건 다소 장황하게 말하는 것이지만, 저는 오픈소스가 AI에서는 다른 분야에서 작동했던 것과 같은 방식으로 작동한다고 생각하지 않습니다.

주된 이유는, 오픈소스에서는 모델의 소스 코드를 볼 수 있지만, 여기서는 모델 내부를 볼 수 없기 때문입니다.

일종의 해석 가능성 인터페이스의 일부로 말입니다. 지난번에는 스티어링과 관련된 작은 기능들도 일부 했습니다.

그래서 저는 오픈소스 여부로 생각하는 것은 잘못된 축이라고 봅니다. 경쟁을 생각할 때 저는 어떤 모델이 우리가 하는 작업에서 뛰어난지를 봅니다.

저는 오픈소스라는 것은 사실상 핵심을 벗어난 문제라고 생각합니다.

• 하지만 무료이고 실행 비용이 싸다면—

무료가 아닙니다. 추론을 실행해야 하고, 누군가는 그 추론이 빠르게 돌아가도록 만들어야 합니다.

삼성하고 엘지에 모듈형 주택을 공급하는 회사.

https://t.co/dNhfkN2C1D

https://t.co/jTZf4qfNhS

M5 ultra 768G 흠

영상/생산성 측면으로 접근해야지 AI 서빙을 저걸로 하는 건 좀 아닌듯 ㅡㅡㅋ

그럴 목적의 쓰레드리퍼/제온 시스템을 별도로 짜는 가격이면 m5 ultra가 성능/가격 면에서 더 좋은 선택지가 될 수 있음. 뭐 산업, 연구실용 물건이지 소매용으론 엄청 비싼 인플루언서의 놀이감일 뿐.

아! 이거가지고 ai서빙한다는 조회수팔이 IT FOMO 양키 파딱들 블락하는 키워드론 딱이겠네.

Bc-250 + Gemma4 12b 해서 체험용 서비스에 백그라운드 Api 걸어놓고 하네스 포함 약 2천 토큰 프롬프트 싱글턴 해보니 약 90초 걸림. 종종 120초 타임아웃. 테스트시 디코딩 30Tok/s 정도 나왔으니까 입력, 추론, 출력에 예상치 안쪽인가.

한대만 더 있으면 서비스 찍먹해 봐라 용도로는 쓸만할 듯.

Gemma4 는 싱글턴 아웃풋, 말하는 앵무새 용도로는 쓸만한 듯. 다만 3090 리눅스 서버에 Vllm 으로 멀티서비스 제공하는 쪽이 BC-250 서버를 들이는 것보다 더 좋은 모델을 빠르고 싸게 공급할 수 있을 듯.

이제 슬슬 PP/DP와 Vllm 을 들여다 볼 시점인가.

Gemma4를 싱글턴 프롬으로만 쓰지, 에이전트용으로 쓰지 않음. 말하는 앵무새가 일을 하려면 도구를 쥘 줄 알아야 하는데 정확도부터 엉망진창인데 무슨. 일단 Gemma4 툴 콜링 고쳐 놓으면 그 다음에 믿겠음.

근데 Qwen 3.6 27b 의 툴 콜링 정확도가 85% 수준이던데 과연 구글이 할 수 있을까.

사실 컴퓨터 가격이 차 가격보다 비쌀 이유가 없는지라 사람들이 타임라인에서 PC가 자동차보다 비싸다는 말을 하는 시점을 버블 정점의 신호라고 보고 있어요.

코로나때 그랬었고 지금이 그러네요.

사실 그러면 차랑 컴퓨터 둘 중 하나의 선택지에서 고민하게 되고 대부분은 자동차를 사거나 저축을 하지 컴퓨터를 사진 않거든요. 컴퓨터의 수요가 팍 꺾여버리는 시점인거죠.

1천만원의 자동차는 필요하면 구매해야 하는 필수재의 성격에 가까운 재화라면, 1천만원의 컴퓨터는 사치재의 영역이죠.

반대로 그래픽카드들은 옛날부터 무거운 그래픽 데이터들을 코어랑 메모리 사이에서 주고받으면서 연산해서 결과를 줘야 했기에 높은 버스 비트레이트를 바탕으로 설계가 되었고 이 부분이 Ai 연산에 더 좋은 효율을 보여주는 듯.

어디까지나 개인적 공부와 추론입니다. 반박시 님 말이 맞음.

엔비디아가 중급인 60모델에 메모리에 128Bit 8G, 심지어 고급형인 70에도 192bit 8G를 쓸 때 ‘이런 램크루지 황가죽잠바가!’ 했던 시절이 있었는데 애플을 보고 있으니 왠지 조금 양심적인 인물로 보이기

는 개뿔 베라루빈좀 그만 빨고 5080 32G나 좀 내놔라. 3090으로 버티는거 현기증난다.