🥱 ai로 썼든 사람이 썻든 섞어 썻든 논문의 ‘질’을 검증하는 시스템으로 가야지 ‘누가 썻냐!‘를 악착같이 찾아내고 싶어하는걸 보니 그런 생각을 하는

‘사람이 병목’

이라는걸 받아들이고 싶지 않은 모양

리누스 토발즈도 이제 코드는 AI가, 검증운 사람이 라고 하는 마당에 ㅋ

대학원생들이 가장 고통스러워 하는 부분이 공부 연구 그런게 아니라 사회성 떨어지는 교수들과의 소통(을 가장한 시중) 과 자신의 연구를 타인에게 설명 (논문작성) 이라는걸 아직도 모르십니까?

그 둘만 AI로 떼는 순간 지식이 폭발적으로 증가할거라고 ㅋ

Ai리터러시가 없는 교수가 병목이야 ㅋ

로컬 머신을 이용해 6시간 걸려서 절반정도 작업할 분량을 gpt-5-mini를 이용해 전체 분량을 30분만에 완성했다.

다들 로컬에 환상을 좀 깼으면 좋겠다.

로컬 기반으로 설계하고 작업도 많이 하지만 로컬은 정말 한계가 뚜렷하다. 작년 여름에 나온 저가형 모델한테조차 성능/시간에서 압도당함.

누군가 인공지능으로 뭔가를 만들어내고 있다 말한다면

• 스타트업에 일하거나
• 초보이거나
• 사기꾼이거나
• 아니면 정말 극소수의 전문가이다.

사진은 오늘 저녁 우리집 에이전트의 만행. 저장소도 제대로 줬어. 최신버전 깔아서 워크스페이스에 세팅하라고도 했어. 그런데 대체 왜… https://t.co/R4jH79zLGH

인공지능은 내가 터미널에서 올라마 최신버전을 깔아놓고

지적질을 한 뒤 리뷰를 할 것을 명령

한 뒤에야 사실을 고해왔다.

대체 다들 이 요절복통기계를 가지고 어떻게 제대로 된 상업서비스를 개발중인거지?? ㅠ_ㅠ https://t.co/P5GIZbkK5K

중국 지푸 (GLM)은 새 모델5.1에 조금 자신감이 생기자마자 구독 가격을 진짜 깜짝 놀랄 정도로 올렸다.

이 3장의 스샷이 2개월 사이에 일어난 일임.

물론 바로 개뚜드려맞고 ㅋㅋ 떨어질 정책이겠지만, 이게 아마 곧 클로드에게 다가올 모습 중 하나라고 예상할 수 있음. https://t.co/O0IOlfAmxj

뭐 거의 대부분

• 288불 뭐 싸긴 한데 그래도 좀 아깝지 않아?
• 뭐? 이제 672불? 제정신인가요?
• 이젠 1536불? 음. 우린 그걸 근자감이라 불러요.

로 인식하겠지만. 그리고 최근 반응을 보면 주어진 토큰량에 비해 호출/입력/산출에 시간이 너무 걸린다는 반응이 많아서 곧 되돌아오겠지만.

인간의 인지구조는 정보 수용이 필터를 거친 후 단기기억 (STM)에서 작업을 진행하고, 그 중에 중요한 정보라고 판단한 내용이 장기기억 (LTM)에 저장되는 형태이다.

그리고 우리가 쓰는 컴퓨터도, AI 도 기본 구조는 마찬가지이다.

인공지능의 컨텍스트는 인간의 단기기억과 마찬가지이다.

그 부분을 이해하고 인공지능의 단기기억을 적당히 환기해주며 필요한 것은 장기기억으로 저장하고 필요할 때 인출을 잘 할 수 있도록 유도해주는 것이 효율적인 인공지능 활용의 기술이 될 수 있다.

쉽게 말하면

‘자주 .md문서로 저장하고, 세션을 자주 새로 시작’

하라는 말입니다.

클로드건, 지피티건, 재미나이건 그 어떤 대형모델도 컨텍스트 토큰이 300K 언저리에 도달하면 컨텍스트 부패가 진행되는 듯 보인다.

1. Codex 는 세션압축이 덜하기에 컨텍스트 한계치에 도달하면 술취한 사람처럼 횡설수설 갈팡질팡한다.

2. 클로드는 이걸 해결하기 위해 공격적 컨텍스트 압축을 하다 어느 순간 자신의 세션 작업 내용을 잃어버린다.

3. 재미나이는 표시상으론 작업을 수행했으나 실제론 수행하지 않은 몽유병 증상을 보이는데 이는 재미나이가 앞선 두 모델보다 더 큰 컨텍스트창을 가지는데서 오는 듯 하다.

4. 재미있는건 세 모델 다 각자 정도가 심한 것이 있을 뿐 다른 증상이 없는 것은 아니라는 것이다.

5. 충분한 컨텍스트 공간(Vram)을 확보하지 못하는 로컬 모델들은 컨텍스트부패로 오는 문제가 더 빨리 나타난다. Qwen 3.5 27b는 200K 컨텍스트를 확보해 줘도 120~150K에서 몽유병 증상을 보인다.

결론 :

1. 플래그십 모델의 경우 컨텍스트가 약 250~300K가 되면 새 세션을 시작. 세션 증적/다음 세션 핸드오프 문서를 작성해달라 한 다음 다음 세션에서 이를 읽히고 시작하는걸 권한다.

2, 로컬 모델들의 경우 약 Vram의 가용량에 따라 다르나 120~150K 에서 다음 세션으로 넘어가는게 좋다.

방금 GPT가 워크플로우 작업을 계속 놓치고 자기마음대로 작업하던걸 속터져라 보다가 컨텍스트량을 보니 300K를 넘겨서 증적문서 작성에만 명령을 3번 집어넣고 간신이 세션 탈출한 후

답답해서 쓴 글입니다.

내 지피티/클로드/잼민이가 왜 이러지? 하는 분들에게 도움이 되었으면 좋겠네요.

터보퀀트 분석하던 저장소를 지웠다.

100G나 써가면서 돌렸지만, 내 한정된 컴퓨팅 자원으론 분석에 한계가 있었음. 그리고 중요한건 llama.cpp 나 vllm 같은 모델 서빙 엔진들이 아직 적극적인 지원에 한계가 있다고 생각했기 때문.

물론 내가 지식이 부족해서 다 못쓰는걸수도 있지만 다시 그냥 llama.cpp에 다른 사람들이 튜닝한 모델을 올리는 방향으로 갈듯.

하지만 절대 올라마로는 돌아가지 않음. 쓰더라도 lmstudio를 쓰지. 허깅페이스에 올라온 모델들을 올라마가 연결해주는데까지 3일이나 기다릴 수 없다.

아직 일부 자원관리/설정 이런게 익숙치않음+부족함 때문에 리눅스 안넘어가고 있는데 문제 없어지면 나도 모든 작업환경을 리눅스로 넘어가게 될듯.

이런 빅똥을 푸짐하게 싸고도 ‘그래서 어쩔건데?‘로 대응하는 기업은 빨리 망해야 함.

아무리 엔트로픽이 어마어마한 모델을 만들어냈다 한들 소수만 접근할 수 있는 비싼 가격에 제공하면 갈수록 초격차만 확대되는 상황만 반복되게 될 것.

가격 변동 없이 미소스를 오푸스 가격에, 오푸스를 소넷 가격에 제공할 수 있는가? 그리고, 그로 인해 추가 창출되는 부를 모두와 나눌 것인가?

그렇지 않고 계속 실제 ‘소비하는 인간’의 수요는 정체된 상황에서 산업 구조의 생산성만 올라가게 되면 어느 순간 시장에는 아무도 사 주지 않는 상품만 계속 쌓이는 현상에 처하게 될 것이다.

마치 컨베이어벨트에서 쉼없이 나오는 자동차를 사주는 사람이 없어 무너져버린 100년 전과 마찬가지로.

보고 있으면 모두가 AI를 이용해 만든 상품에 구독경제 결합해 고객 빨대 꽃을 생각만 하면서 달리고 있지만 실제 빨대를 사 자신과 결합해 줄 고객은 보이지 않음.

B2C가 보이지 않는 상황에서 B2B가 답인것처럼 보이고 그렇게 달리고 있지만 그게 만능이 아니라는 것을 곧 깨닫게 될 것임.

지금 AI 시장은 마치 ‘공급이 수요를 창출한다.’ 는 고전경제학적인 믿음 위에서 달리고 있는 것처럼 보임.

하지만, 충분한 수요 없는 공급은 결국 낭떠러지에 떨어질 뿐임. 그걸 우리는 몇번이고 배웠음.

튤립에서, 대공황에서, 닷컴버블에서, 2008년에도.

이번이라고 다를까? 정말?

토큰 리셋권을 그냥 월간 1~2개 주면 좋을거같음.

그럼 상황봐서 지금 몰입해야 할 상황이다 하면 급하게 토큰 당겨 쓰고 + 리셋해서 토큰 밀도있게 쓸 수 있지 않을지.

지금처럼 자기들 컴퓨팅 상황봐서 임의로~ 라면 매일매일 토큰 자원 분배해서 쓰는 사람들은 손해본다는 생각만 듬.