로컬 LLM 실험실

조금 타래를 더 읽어보니, 원 글의 의도도 ‘Ai조금 써봤다고 깝치지 마라’ 였던 걸로.

저도 조심하겠습니다.

새 블로그 https://t.co/uIouJIIdzg 가 어느 정도 안정화가 되었네요.

1. 트위터에 작성한 글 크롤링 / 백업
2. 블로그 글 자동화 작성

• 비평 작성에 로컬 모델(gemma4 31b)사용
• 자동으로 블로그에 업로드

코덱스 프롬프트 하나면 크롤링/검수/비평작성/업로드까지 한방에 되니 편하군요. https://t.co/SRtFB5JW0p

M5 ultra 768G 흠

영상/생산성 측면으로 접근해야지 AI 서빙을 저걸로 하는 건 좀 아닌듯 ㅡㅡㅋ

그럴 목적의 쓰레드리퍼/제온 시스템을 별도로 짜는 가격이면 m5 ultra가 성능/가격 면에서 더 좋은 선택지가 될 수 있음. 뭐 산업, 연구실용 물건이지 소매용으론 엄청 비싼 인플루언서의 놀이감일 뿐.

아! 이거가지고 ai서빙한다는 조회수팔이 IT FOMO 양키 파딱들 블락하는 키워드론 딱이겠네.

Bc-250 + Gemma4 12b 해서 체험용 서비스에 백그라운드 Api 걸어놓고 하네스 포함 약 2천 토큰 프롬프트 싱글턴 해보니 약 90초 걸림. 종종 120초 타임아웃. 테스트시 디코딩 30Tok/s 정도 나왔으니까 입력, 추론, 출력에 예상치 안쪽인가.

한대만 더 있으면 서비스 찍먹해 봐라 용도로는 쓸만할 듯.

Gemma4 는 싱글턴 아웃풋, 말하는 앵무새 용도로는 쓸만한 듯. 다만 3090 리눅스 서버에 Vllm 으로 멀티서비스 제공하는 쪽이 BC-250 서버를 들이는 것보다 더 좋은 모델을 빠르고 싸게 공급할 수 있을 듯.

이제 슬슬 PP/DP와 Vllm 을 들여다 볼 시점인가.

결국 기존 qwen/gemma 의 개선 모델이네. 리우모델이 생각나는구만.

어떻게 고쳤는지 찍어먹어보긴 해야 할듯.

사실일까. 벤치자료가 좀 수상한데.

일단 눈여겨 봐야 할듯.

Gemma4를 싱글턴 프롬으로만 쓰지, 에이전트용으로 쓰지 않음. 말하는 앵무새가 일을 하려면 도구를 쥘 줄 알아야 하는데 정확도부터 엉망진창인데 무슨. 일단 Gemma4 툴 콜링 고쳐 놓으면 그 다음에 믿겠음.

근데 Qwen 3.6 27b 의 툴 콜링 정확도가 85% 수준이던데 과연 구글이 할 수 있을까.

반대로 그래픽카드들은 옛날부터 무거운 그래픽 데이터들을 코어랑 메모리 사이에서 주고받으면서 연산해서 결과를 줘야 했기에 높은 버스 비트레이트를 바탕으로 설계가 되었고 이 부분이 Ai 연산에 더 좋은 효율을 보여주는 듯.

어디까지나 개인적 공부와 추론입니다. 반박시 님 말이 맞음.

엔비디아가 중급인 60모델에 메모리에 128Bit 8G, 심지어 고급형인 70에도 192bit 8G를 쓸 때 ‘이런 램크루지 황가죽잠바가!’ 했던 시절이 있었는데 애플을 보고 있으니 왠지 조금 양심적인 인물로 보이기

는 개뿔 베라루빈좀 그만 빨고 5080 32G나 좀 내놔라. 3090으로 버티는거 현기증난다.

이제 여유가 조금 나서 전에 제작해 둔 CU 언락 BC-250 적용.

배포한 프로젝트에 사용자별 횟수/일 사용 제한이 있는 로우 퀄리티 모델 서빙 (Gemma4 12b 기반) 머신으로 붙여보는 중.

잘 되면 재미있겠다.