• 5090 64G
• 텐서병렬 기본탑재
• 70라인업까지 Nvlink 지원
• pci-16x2 / 3 보드들의 대중화

정도는 하고 그걸 물어보는게 맞는 게 아닐까? 개인이 로컬 모델 구동하기엔 여전히 환경이 엉망이잖아. 인용을 보라고, 맥을 병렬연결하거나, 5년된 3090을 쓰는 상황이 과연 정상인걸까? https://t.co/lNT8qtDVhe

5090 64g가 나와서 둘을 pci-ex 16x 네이티브로 얹고 거기에 nvlink 연결해서 128g 듀얼gpu 구동 환경을 구축해야

Gemma4 31b dence 가 한 80~100tok/s 나오겠지. 그리고 Q4양자화 200B 모델들도 안정적으로 돌릴거고.

그정도는 되야 유의미한 작업환경이라고. 안그러면 그냥 외부모델 쓰는게 나아.

3일동안 실험한 pdf to markdown파싱 구조로 업계 1황이라는 MinerU랑 붙여 보았다.

인공지능은 MinerU가 설계구조가 더 낫다고 하면서도 전제를 달았다.

‘Ai agent가 읽는다고 하면 우리게 낫습니다. 왜냐면 MinerU는 구조적 해석과 추출을 전제로 하고 있어서요.’

공개해볼까?

🥱 ai로 썼든 사람이 썻든 섞어 썻든 논문의 ‘질’을 검증하는 시스템으로 가야지 ‘누가 썻냐!‘를 악착같이 찾아내고 싶어하는걸 보니 그런 생각을 하는

‘사람이 병목’

이라는걸 받아들이고 싶지 않은 모양

리누스 토발즈도 이제 코드는 AI가, 검증운 사람이 라고 하는 마당에 ㅋ

대학원생들이 가장 고통스러워 하는 부분이 공부 연구 그런게 아니라 사회성 떨어지는 교수들과의 소통(을 가장한 시중) 과 자신의 연구를 타인에게 설명 (논문작성) 이라는걸 아직도 모르십니까?

그 둘만 AI로 떼는 순간 지식이 폭발적으로 증가할거라고 ㅋ

Ai리터러시가 없는 교수가 병목이야 ㅋ

로컬 머신을 이용해 6시간 걸려서 절반정도 작업할 분량을 gpt-5-mini를 이용해 전체 분량을 30분만에 완성했다.

다들 로컬에 환상을 좀 깼으면 좋겠다.

로컬 기반으로 설계하고 작업도 많이 하지만 로컬은 정말 한계가 뚜렷하다. 작년 여름에 나온 저가형 모델한테조차 성능/시간에서 압도당함.

누군가 인공지능으로 뭔가를 만들어내고 있다 말한다면

• 스타트업에 일하거나
• 초보이거나
• 사기꾼이거나
• 아니면 정말 극소수의 전문가이다.

사진은 오늘 저녁 우리집 에이전트의 만행. 저장소도 제대로 줬어. 최신버전 깔아서 워크스페이스에 세팅하라고도 했어. 그런데 대체 왜… https://t.co/R4jH79zLGH

인공지능은 내가 터미널에서 올라마 최신버전을 깔아놓고

지적질을 한 뒤 리뷰를 할 것을 명령

한 뒤에야 사실을 고해왔다.

대체 다들 이 요절복통기계를 가지고 어떻게 제대로 된 상업서비스를 개발중인거지?? ㅠ_ㅠ https://t.co/P5GIZbkK5K

중국 지푸 (GLM)은 새 모델5.1에 조금 자신감이 생기자마자 구독 가격을 진짜 깜짝 놀랄 정도로 올렸다.

이 3장의 스샷이 2개월 사이에 일어난 일임.

물론 바로 개뚜드려맞고 ㅋㅋ 떨어질 정책이겠지만, 이게 아마 곧 클로드에게 다가올 모습 중 하나라고 예상할 수 있음. https://t.co/O0IOlfAmxj

뭐 거의 대부분

• 288불 뭐 싸긴 한데 그래도 좀 아깝지 않아?
• 뭐? 이제 672불? 제정신인가요?
• 이젠 1536불? 음. 우린 그걸 근자감이라 불러요.

로 인식하겠지만. 그리고 최근 반응을 보면 주어진 토큰량에 비해 호출/입력/산출에 시간이 너무 걸린다는 반응이 많아서 곧 되돌아오겠지만.

인간의 인지구조는 정보 수용이 필터를 거친 후 단기기억 (STM)에서 작업을 진행하고, 그 중에 중요한 정보라고 판단한 내용이 장기기억 (LTM)에 저장되는 형태이다.

그리고 우리가 쓰는 컴퓨터도, AI 도 기본 구조는 마찬가지이다.

인공지능의 컨텍스트는 인간의 단기기억과 마찬가지이다.

그 부분을 이해하고 인공지능의 단기기억을 적당히 환기해주며 필요한 것은 장기기억으로 저장하고 필요할 때 인출을 잘 할 수 있도록 유도해주는 것이 효율적인 인공지능 활용의 기술이 될 수 있다.

쉽게 말하면

‘자주 .md문서로 저장하고, 세션을 자주 새로 시작’

하라는 말입니다.

클로드건, 지피티건, 재미나이건 그 어떤 대형모델도 컨텍스트 토큰이 300K 언저리에 도달하면 컨텍스트 부패가 진행되는 듯 보인다.

1. Codex 는 세션압축이 덜하기에 컨텍스트 한계치에 도달하면 술취한 사람처럼 횡설수설 갈팡질팡한다.

2. 클로드는 이걸 해결하기 위해 공격적 컨텍스트 압축을 하다 어느 순간 자신의 세션 작업 내용을 잃어버린다.

3. 재미나이는 표시상으론 작업을 수행했으나 실제론 수행하지 않은 몽유병 증상을 보이는데 이는 재미나이가 앞선 두 모델보다 더 큰 컨텍스트창을 가지는데서 오는 듯 하다.

4. 재미있는건 세 모델 다 각자 정도가 심한 것이 있을 뿐 다른 증상이 없는 것은 아니라는 것이다.

5. 충분한 컨텍스트 공간(Vram)을 확보하지 못하는 로컬 모델들은 컨텍스트부패로 오는 문제가 더 빨리 나타난다. Qwen 3.5 27b는 200K 컨텍스트를 확보해 줘도 120~150K에서 몽유병 증상을 보인다.

결론 :

1. 플래그십 모델의 경우 컨텍스트가 약 250~300K가 되면 새 세션을 시작. 세션 증적/다음 세션 핸드오프 문서를 작성해달라 한 다음 다음 세션에서 이를 읽히고 시작하는걸 권한다.

2, 로컬 모델들의 경우 약 Vram의 가용량에 따라 다르나 120~150K 에서 다음 세션으로 넘어가는게 좋다.

방금 GPT가 워크플로우 작업을 계속 놓치고 자기마음대로 작업하던걸 속터져라 보다가 컨텍스트량을 보니 300K를 넘겨서 증적문서 작성에만 명령을 3번 집어넣고 간신이 세션 탈출한 후

답답해서 쓴 글입니다.

내 지피티/클로드/잼민이가 왜 이러지? 하는 분들에게 도움이 되었으면 좋겠네요.

터보퀀트 분석하던 저장소를 지웠다.

100G나 써가면서 돌렸지만, 내 한정된 컴퓨팅 자원으론 분석에 한계가 있었음. 그리고 중요한건 llama.cpp 나 vllm 같은 모델 서빙 엔진들이 아직 적극적인 지원에 한계가 있다고 생각했기 때문.

물론 내가 지식이 부족해서 다 못쓰는걸수도 있지만 다시 그냥 llama.cpp에 다른 사람들이 튜닝한 모델을 올리는 방향으로 갈듯.

하지만 절대 올라마로는 돌아가지 않음. 쓰더라도 lmstudio를 쓰지. 허깅페이스에 올라온 모델들을 올라마가 연결해주는데까지 3일이나 기다릴 수 없다.

아직 일부 자원관리/설정 이런게 익숙치않음+부족함 때문에 리눅스 안넘어가고 있는데 문제 없어지면 나도 모든 작업환경을 리눅스로 넘어가게 될듯.

이런 빅똥을 푸짐하게 싸고도 ‘그래서 어쩔건데?‘로 대응하는 기업은 빨리 망해야 함.