벤치마크 점수와 사용 경험이 다를 때

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1

   이제 벤치마크를 바꿔야 함. 모델이 가진 정보의 양은 기하급수적으로 늘었고 배경 지식이 늘어난 모델이 수행할 수 있는 일들 또한 빠르게 늘어났는데도 우리는 1~2년 전에 만들어진 기준으로 모델의 ‘지능’만을 바라보고 있음.

   그럼 모델의 능력을 높이기보단, 치팅의 유혹에 더 쉽게 빠지게 됨. https://t.co/DWqUECuX3g

   
   원문 보기
2. 2

   Gemin 3.1 Pro 이후의 구글 모델들처럼 보여지는 수치와 모델의 실제 수행 역량이 맞지 않는 모델이 있다는 것을 알 수 있음.

   마찬가지로, 파라메터가 지나치게 적음에도 불구하고 순위가 높은 모델들도 있음. 이런 모델들은 순간적으론 작업을 잘 하는 것처럼 보이지만 금새 한계를 드러냄. https://t.co/pzj6AxyS7h

   
   원문 보기
3. 3

   가격이 신호등의 역할을 하지 못하면 시장실패가 나타나듯, 벤치가 제 역할을 다 하지 못하면 결국 유저가 경험을 통해 찾아낼 수 밖에 없고 한정된 자원 - 시간과 컴퓨터 - 을 소비하게 만듬.

   극단적으로, 모델들을 체크하고 실력을 검증하는 별도의 모델을 만들어야 할 시기가 왔는지도 모름.

   원문 보기
4. 4
   지금대로 두면 깊이 있는 사고를 하는 빅파라메터 모델은 경시되고, 적은 자원을 들여서 하지만 빨랏죠를 실현하는 로우파라메터 모델 중심으로 시장이 재편될 것임. 지금은 투 트랙으로 가야 모두가 만족할 수 있는데 한쪽만 커지면 결국 문제가 생길 수 밖에 없음.
   원문 보기
5. 5
   Artificial Analysis 벤치점수 꽤 높겠다 생각했는데 52 를 주네 https://t.co/9AskjorA6L
   원문 보기
6. 6

   점수가 좀 과함.

   아무리 생각해도 루나랑 동급의 모델은 아님. 루나는 일을 맏길 수 있지만 이 모델은 결과는 가져올 수 있을지언정 일을 맡길 수 있는 모델은 아니라는 생각. 하네스를 안씌우면 재미있지만 씌우면 바로 따분한 모델 되버림.

   AA는 종합 지능 벤치마크 기준을 재점검할 필요가 있음.

   원문 보기
7. 7
   @yulmu_coffee 사실 모델이 크긴 하죠. 27B dense 라서…
   원문 보기
8. 8
   @ixxelent9052 전 토큰만 좀 더 잘나오고 과추론 잡히면 50정도는 줄 거 같아요.
   원문 보기
9. 9

   벤치마크를 마치 개인의 주관이 섞인 정성평가 취급 하는 사람들이 꽤 보이는데, 적잖이 우려스러움.

   그건 단순히 점수가 아니고 SC에 과학적 방법론이 적용된 결과임. 평가지표를 만든 뒤 귀납적 반복 테스트를 통해 효과성을 입증한 후 그걸 컴퓨터 능력을 평가하는 요소로 사용하는 것임.

   원문 보기
10. 10

    만약 벤치마크와 내 경험이 일치하지 않는다면 자신을 되돌아보는 메타인지적 접근이 우선될 것임. 그리고 반복적인 관측과 추가 가설 수립 및 증거 확보를 통해 자신의 판단을 확신할 수 있게 되면 그걸 바탕으로 새로운 실험을 진행하면 되는 것임.

    그게 과학적 방법론이고 연역과 귀납의 발현임.

    원문 보기
11. 11
    @ramztd 람썬님은 글의 맥락을 읽고 시류에 맞게 응용해 적용하는 능력이 탁월하심 ㅋ
    원문 보기
12. 12

    @Hyun_The_Wise 벤치가 틀렸어! 오염됬어! 맥싱이야!

    가 아니라 음… 내가 틀렸나? 부터 해야죠. 그래서 사용자 경험의 공유도 매우 중요하죠.

    원문 보기
13. 13
    @byeolbyeol_e Ang!
    원문 보기
14. 14
    @jeongjiwon19511 순서가 바뀌지만 않으면 구성요소들의 상호작용이 좋을 결과를 만들어 주는 기초가 되겠죠.
    원문 보기