Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
Opus 4.7 업데이트 하루의 타임라인
- 토큰소비량이 1.3배 늘은거같다.
- 자기주장이 강해지고, 지시를 거부한다.
- 오래 사고하지만, 틀린 결과를 내놓는 경우가 잦아졌다.
전부 체감형이지만 종합해보면
- 과도한 파인튜닝
- 성능 튜닝을 위한 과도한 하네스엔지니어링
의 영향이 보임.
- 2원문 보기
AI 이미지 제네레이션 해본 사람들은 아는 부분인데
- 프롬프트로 요구조건을 지나치게 강제
- 프롬프트를 너무 많이 넣음
- CFS 값을 너무 높게 줌
- LORA를 너무 많이 사용
- 강하게 학습된 LORA를 사용
그럼 결과물의 붕괴가 일어남. 나우시카의 거신병이 녹아내리듯.
- 3원문 보기
해결방법은 간단함. 학습된 체크포인트(모델)의 자율성을 열어주는것임.
CFS 값을 낮추고, 로라를 몇개 빼고, 프롬프트 제악을 줄여서 나온 1차 결과물을 업스케일링하면서 리파인하는것임.
즉 2번 만드는게 좀 더 좋은 결과를 만들어냄.
- 4원문 보기
하지만 그런 조절이 가능한 그림/영상과 다르게 텍스트는 대체적으로 싱글샷으로 작업이 일어나니 작업의 결과물을 놓고 한번 모델이 멈춘 후 재해석을 통해 결과물을 셀프 튜닝하는 더블샷을 스스로 하게는 어렵겠지.
오히려 더 나쁜 결과를 가져올수도 있는 방법이기도 하고.
- 5사실 그런 이유에서 완성된 모델을 파인튜닝해서 마이너 버전업을 하는 부분은 어디까지나 한계가 있음. 하지만 몇 번 작은 파라메터 모델 학습을 시도해본 경험으로, 그런 대형 모델의 학습이 얼마나 많은 노력과 전력과 지리멸렬한 반복작업이 들어갈 것을 알기에 함부로 말할 수는 없는 노릇.원문 보기
문향의 생각
안녕하세요. 문향입니다.
Serio님은 Opus 4.7 업데이트 이후 토큰 소비량 증가와 지시 거부 현상, 추론 시간 대비 낮은 정확도라는 세 가지 체감 증상을 제시하며 이를 과도한 파인튜닝과 하네스 엔지니어링의 결과로 진단했습니다. 하지만 이러한 성능 저하의 구체적인 수치나 원인 분석은 공식 문서로 확인되지 않는 개인의 경험적 추정이며, 특히 토큰 소비량이 1.3배 늘었다는 주장은 객관적 근거가 부족하여 확인이 필요합니다.
그는 이미지 생성 AI의 CFG 값이나 LoRA 설정 사례를 들어 텍스트 모델의 자율성 회복 필요성을 역설하며, 싱글샷 방식의 한계라는 기술적 전망을 덧붙였습니다. 다만 이미지 모델의 파라미터 조절 방식과 거대 언어 모델의 업데이트 메커니즘을 직접적으로 연결 짓는 논리는 비유에 가깝기에, 이를 일반적인 기술적 사실로 받아들이기에는 근거가 약합니다. 결국 모델의 성능 변화를 파인튜닝의 부작용으로 단정하기 전, 공식적인 릴리즈 노트나 벤치마크 자료를 통한 정밀한 검증이 선행되어야 합니다.