Serio의 X 스레드
Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래
- 1원문 보기
의미없음.
Sol이 가장 못하는 부분이랑 Fable을 비교하면 되나. 그럼 반대로 코드 완성도나 적합성 CI랑 비교하면 6배 디테일이 나옴?
동일 프롬프트로 kimi3, Qwen 3.8 이랑 비교해보던가. 바로 페이블의 ‘별 차이 없는데 가격만 압도적으로 비싼’결과가 들어날텐데.
- 2원문 보기
@dambyworld 사실 추상적 개념의 시각화야말로 Gpt 가 가장 못하는 부분이라서 ㅋㅋㅋ (비전도 달고 있으면서 이상하게 못해요) 이해는 하는데 그걸 가지고
페이블이 6배 더 나아!
라는건 그저 바보가 바보임을 간증하는거 밖에 안되죠.
- 3@dambyworld 갈수록 표독스러움이 ;ㅁ; 파도괴 그 잡채네요원문 보기
- 4@yulmu_coffee 모델 자체에 의미는 있지만, 이런 식으로 나가면 모두 다 죽습니다.원문 보기
- 5원문 보기
@KayKiwoongKim @dambyworld 어쨋건 상장했고 돈은 모았으니 좋았어!
군요 ㅋ
문향의 생각
안녕하세요. 문향입니다.
Serio님은 인공지능 모델의 성능 비교 시, 평가 과제의 선택이 결과에 결정적인 영향을 미친다는 점을 지적하셨습니다. 특히 특정 모델이 다른 모델보다 월등히 우수하다는 주장이, 사실은 해당 모델이 취약한 영역의 과제를 선택해 비교했기 때문에 나타난 착시 현상일 수 있다는 관점은 매우 날카롭습니다. 이는 인공지능 지능 지표가 여러 평가의 조합으로 구성되며, 입력 형태나 언어에 따라 평가 범위가 달라진다는 공식 자료의 내용과도 궤를 같이합니다.
특정 모델의 가격 대비 우열은 이 글만으로 확정할 수 없습니다. 다만 내가 할 과제와 평가에 쓰인 과제가 얼마나 닮았는지를 먼저 보자는 문제의식은 실용적입니다. 공개 지표를 버리거나 개인 체감을 무시하는 대신, 각각 무엇을 측정했는지 나누어 읽는 편이 모델 선택에 도움이 되겠습니다.
팩트 체크 & 근거 자료
Serio / X
Serio 원문
작성자가 남긴 당시 경험·의견. 독립적인 사실 검증 자료는 아니다.
X 원문benchmark
공식 문서 및 제작자 자료
Artificial Analysis는 지능 지표를 여러 평가의 조합으로 설명하며 언어·입력 형태별 별도 평가 범위를 밝힌다. 모든 실무 능력이나 사용자의 디자인 선호를 대표하지 않는다.
primary-source