평가도구 하나에 너무 많은 것을 담지 말아야 하는 이유

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   정량평가와 정성평가는 서로 떨어져 있지 않다. 정량평가의 강점은 객관성이고 정성평가는 깊이 있는 탐색이 가능하다. 정량평가가 있어 정성평가가 대표성을 갖출 수 있고, 정성평가가 있어서 정량평가가 놓칠 수 있는 것들을 집어낼 수 있는 것이다. 둘 중 하나를 놓치면, 다른 쪽도 무너진다.
   원문 보기
2. 2
   또한 많은 평가의 실패는, 하나의 평가 속에서 너무 많은 것을 보려고 할 때 생긴다. 평가는 단순해야 한다. 평가도구의 평가요목이 복잡해지면 그 어떤 것도 제대로 평가할 수 없게 된다. 또한 평가 범위가 너무 넓으면, 그 넓이 속에서 평가도구들과 평가자들은 길을 잃는다.
   원문 보기
3. 3

   그래서 평가 설계를 할 때 가장 하면 안되는 것이 욕심을 부리는 것이다. 이 평가도구로 모든 것을 볼 수 있게 하겠어, 필요한 것들을 다 도구 속에 집어넣겠어는 결국 많은 것들을 놓치게 만든다.

   BTB, Simple is best 는 어디에든 통용되지만 특히 평가의 측면에선 제일 중요한 부분이다.

   원문 보기
4. 4
   그래서 독파모 보도결과의 평가배점을 보자마자 한숨이 턱 나왔다. 모델의 성능을 보려면 평가도구는 성능 측정에 집중해야 하고 응답과 대중친화도를 보려면 그 쪽에 집중했어야 했다. 전문가의 정성평가를 보려면 마찬가지로 그쪽에 집중했어야 했다.
   원문 보기
5. 5
   하지만 배점은 벤치가 높았어도, 실제 점수의 편차는 일반인 응답이 더 컸다. 결국 웩 더 독이 되고야 말핬다. 그래서 원 글에도 적어놨지만, 평가를 설계한 쪽에 1차적 책임이 있다고 적어 놓은 것이다. https://t.co/Ge0hWVqoJx
   원문 보기
6. 6
   지난번의 자극적 이슈와 다르게, 이 타래는 아마 많이 읽지 않을 것이다. 진실은 지루하고 따분하다. 하나 누군가 이 일에 관심을 가지고 있다면, 그리고 어떻게 해결해야 될지 궁금하다면 이 타래를 읽어 줬으면 좋겠다. 그리고 외양간을 고쳐 다음에는 같은 실수를 반복하지 않기를 진심으로 바란다.
   원문 보기
7. 7
   아마 이 글이 이번 이슈의 마지막 글이 될 거 같고 그렇게 됬으면 좋겠다.
   원문 보기