당장 Ai 창업 지원 한다는 사람이 Openclaw를 구축해서 써 본 사람은 몇이나 될 것이며, 로컬 Ai 를 오케스트레이션해서 업무에 투입하는 사람은 몇이나 될 것인지? 그걸로 생산성 있는 결과물을 내놓는 사람은 과연 거기서 또 얼마나 될 것인지?

목적전치 현상을 막는 방법은, 구조를 부수는 것이다.

모두의 창업 둘 다 떨어졌네. 흠. 슬슬 수도권 이전을 고려해봐야 할 듯.

기존 창업 컨설팅 기관들이 메인이다 보니 그들의 퀄리티 생각하면 제대로 봐 줄 리 없다 + 사전 인맥 커넥션 만들어 놔야 하는 걸 알고 있었는데 제대로 준비해서 넣은 것도 떨어지는걸 보면 지방에 있는게 독인듯.

결국 올해도 계속 자비 갈아넣고 가는 것인가.

외주에나 매달려야할듯.

못참고 결국 Gemma4 MTP 찍어먹음.

BC-250 12B 20tok/s > 35tok/s 3090 26B 112 tok/s > 147Tok/s 😯

31B 찍어 먹으러 다녀옵니다. https://t.co/qNxF8j94i5

단발성 토큰 수치라 뒤로 가면 더 떨어집니다.

그래도 기존에 20 Tok/s 안나왔는데 이정도면 ‘쓸만은 해졌다’ 수준인가 싶네요. https://t.co/Du3ADm4gnP

요즘 깃허브, 코덱스, 클로드의 Api 비용을 보면 왜 프로그래머 분들이 더더욱 Local LLM 에 관심을 가지시는지 알 거 같다.

다만, 대부분의 로컬 머신과 모델들이 SOTA 수준의 에이전틱 작업을 할 수는 없으니 원래 가지고 계신 지식과 로컬 AI의 보조를 결합한 무언가 있으면 좋겠다는 생각을 한다.

이미 커서에다가 연결해 쓰시는 분들은 보았으니, 저녁에 한번 실험해 봐야겠다. 커서에 Quopus 3.6 27b를 연결해 돌려 보고 의미 있는 활용이 가능한지 살펴봐야겠다.

가능하면 아마 antigravity가 작업 환경에서 제거될 거 같다.

lamma.cpp Gemma4 mtp 지원 병합이 된 모양인데. 드디어 왔나 싶기도 하면서도 과연 잘 될까 싶기도 함. 이번건 선발대 안하고 다른 분들의 결과만 좀 지켜볼 생각.

https://t.co/BwUX1qd6CE

많이도 안바라고 한 20% 정도만 빨라졌으면 좋겠네. 그럼 3090에서 Gemma4 31b 30 T/s 가 넘을테니.

오타났네 llama! llama! 알파카?

https://t.co/WvLDGoq2hV

찾아보다가 BC-250을 찐 PS5로 만들어 주는 깃허브 저장소가 있어서 Codex + Superpower 에 Xhigh 로 던져서 적용까지 마치라 해놓고

밥먹으러 다녀옵니다.

뭐먹징.

Codex : ‘저장소는 페도라/바자이트 기준인데, 우리는 우분투잖아요? 커널 빌드 새로할께요~ 이꾸요.’

10분 후

‘원샷 프롬프트 만들어 왔어요. Sudo 로 스크립트 실행해 주세요.’

3분 후

‘잘 됐네요. 코어 속도 1500Mhz 로 했으니 여기서부터 시작해 봅시다. 검증할께요.’

내 소감 https://t.co/WyWuME0wnd

여튼 제 BC-250 이 PS5가 되었단 소식인데요. 심지어 원본 PS2 보다 CU가 2개 더 많은건데요.

벤치 돌리고 올께요.

코어 8개는 살려 놨는데, llama.cpp와 vulkan 의 부조화가 서빙을 방해하기 시작한다. 모델이 갑자기 정형행동을 하는 앵무새가 되어버림.

Cuda Cuda 어렵다 독점이다 말 많아도 경쟁자들이 더 엉망이기 때문에 이기는 법이지.

작업 결과 : 36/40Cu

Codex 로 자동스크립트 만들어서 불량 코어 체크.

2CU가 1 WGP 에 들어가 있는 구조인데, 아예 응답이 없는 WGP 가 1개, 응답은 있으나 정상 작동을 안하는 WGP를 1개 찾아내고 바이패스 처리.

현재 Gemma4 12b/Qwen 9B 장기 부하 테스트중. 15/30 사이클 진행 중 이상 없음.

2000mhz / 1000Mv 의 기본 세팅에선 발열 제어가 안되므로 1500mhz / 900Mv 로 커널 전압 설정 변경. CU가 16개 추가 작동하기 때문에 한 5~10Tok/s 의 성능 향상을 기대 중.

여기에 Gemma4 12b mtp 적용시키면?

50Tok/s 만 나오면 좋겠네.

성공 야호-!

18.9 Tok/s > 20.1 Tok/s > 23.87 Tok/s

여기에 새벽에 올라온 Mtp 붙여서 30~35 Tok/s 붙이면 실사용권! https://t.co/AihX3oLe2o

성공 경험 묶어서 자동화 스크립트로 만드는 중.

역시 /goal 이 이럴때 좋네.

• CU 활성화
• 정상 CU 체크 프로세스
• 커널 작동속도/전압 컨트롤
• 안정화 검증

Gemma4 MTP 대성공 야호-!

BC-250 / Gemma4 12B Q6 KVQ8 MTP 디코딩 35.13Tok/s!

이정도면 에이전트나 챗봇에 써도 아무 문제 없는 속도네요. https://t.co/1pXRhlrUl1

원래 설계 목적(?)인 LLM 서빙 머신으로 다시 복귀시켜서 이것 저것 테스트하고 세팅해봄. 작년 말 스팀머신으로 유명했던 BC-250.

결론만 이야기하면,

1. 다른 머신이 있고
2. Gemma4 12B 수준이면 적당하고
3. 맥미니/맥북 수준의 토큰 생산이면 만족한다

라고 하면 꽤 괜찮습니다. https://t.co/W5vAcqpQtV

6. 환율이 엉망이지만, 지금(26.6.7) 알리 세일이라 카드 할인 +쿠폰 먹이면 103달러 정도에 구매가 가능합니다. 15만원 + 128G SSD + 노는 파워 하나 해서 20만원에 Gemma4 12B + 에이전트를 구축하는 헝그리 로컬 세팅으론 의미가 있는 것 같습니다. 안되면 바자이트 깔아서 게임 하면 되구요. https://t.co/B2f3J1hHNp

7. 참고자료

• 도큐먼트 : https://t.co/goqGW2ggKE
• llm 적용 : https://t.co/ew9jOhVmVE (진짜 어디까지나 참고용)
• 40CU 언락 (진행중) : https://t.co/8CQ5oPXvGs

https://t.co/3dSdpSsPrl

진짜 읽고 있다 보면 얼마나 선민의식과 오만에 찌들어 있는지 감도 안 옴. 이 모든 걸 오로지 나만이 할 수 있다는 교만. 신선 놀음에 도끼자루 썩는 줄 모르는 갑지.

만약 받아들인다면, 정말 어리석은 결정이 될 것. 지금 상황에서는 평화를 이야기하는 자가 배신자임.

Gemma4 QAT 가 나왔네요. 다만 BF16 > QAT4 로 드라마틱한 효과가 나온것처럼 과장했지만 실제론 매직그래프죠. 대부분 Q4_K_S 양자화 쓸텐데

Gemma4 31B 17.4 > 17.3G Gemma4 26B 16.5G > 14.2 GB Gemma4 12B 6.76G > 6.72G

Dense 모델에선 거의 효과가 없고, Moe 모델에선 효과가 꽤 있네요. https://t.co/s6mYacJS6U

하지만 대부분 주력으로 쓰시는 Gemma4 26B Moe를 큰 변경 없이 16G Vram 에 올려놓는 것은 꽤 멋지네요. 여기에 멀티모달 삭제 하고 이래저래 하면 잘 하면 Q4 양자화 12G 수준에도 볼 수 있겠네요. KV Q4로 128K가 가능할 수 있어요.

음. 12B 를 먼저 발표한 건 이런 이유였던건가.