Ее величество Статистика – часть 2 (заключительная)

Мы строили систему оценивания таким образом, чтобы у каждого участника были как командные баллы (одинаковые для всех участников команды), так и личные баллы.

Командные баллы можно было получить только по итогам презентации. Оценку давали 25 экспертов: мы исходили из принципа “итогового контроля” для командного проекта. На старте эксперты не знали о проектах ничего, и за 20 минут командам нужно было продемонстрировать цели проекта, достигнутые результаты, полноту проделанной работы и вклад каждого участника. Сделать это нужно было доступно, лаконично, ярко, ориентируясь на очень разных экспертов: людей с разным опытом и с разными ожиданиями.

Личных баллов можно было заработать на 10% больше, чем командных. Личные баллы примерно на две трети формировались оценками экспертов — и отражали “итоговый контроль”. Оставшиеся баллы формировалась на треть от владельца проекта и на две трети — по итогам “Оценки 360”; эти баллы отражали вклад каждого участника в процесс работы над проектом.

Сразу скажем, что владельцы проектов очень высоко оценили практически каждого участника: 32 финалиста получили максимально возможный балл.

Баллы “Оценки 360” помогли не только ранжировать участников, но и определить, правильно ли эксперты выделяют наиболее значимых участников команд. У 15 из 30 победителей “Оценка 360” выше среднего, а у тех 20, кто не вошел в тридцатку лучших, она ниже среднего значения в 100% случаев. Иными словами, эксперты правильно определили наиболее значимых участников команд.

Разброс фактических оценок команд был от 17,10 до 25,67 баллов — разрыв в 8,67 балла вполне мог быть перекрыт личными баллами, полученными на “Оценке 360” и/или баллами от эксперта. При этом баллы шести “топовых” команд уложились в разницу всего лишь в 3,45 балла — проекты были подготовлены и презентованы очень хорошо, разница в баллах — довольно часто на уровне погрешности.

Несмотря на разницу опыта и ожиданий эксперты в основном были довольно единодушны; от проекта к проекту только от 2 до 5 оценок экспертов заметно отличались от среднего значения; вклад таких экспертов статистически сглаживался большим их числом.

Таким образом основная борьба шла за личные баллы от экспертов, за внимание экспертов к каждому участнику. Судя по оценкам экспертов, выигрывали те, кто проявлял хорошие качества оратора, был убедительным, серьезным, понятным. Эксперты ориентировались и на то, что и как выступавшие говорили о своем вкладе в проект, не умаляя достоинства команды.

Среди 30 победителей у 2/3 победа определилась именно личными баллами от экспертов и лишь у 10 участников — командным баллом за проект (при среднем уровне личных баллов). Но у каждого из победителей личный балл был выше личного балла любого из непобедивших финалистов.

Были ли команды, полным составом “выбывшие” из победителей? Да, одна команда. Впрочем, в ней были участники, максимально близкие к 30 лучшим.
Были ли команды, полным составом “прошедшие”? Да, но только две: набравшая максимум командных баллов (но там каждый участник в десятке лучших и по личным баллам) и набравшая среднее число командных баллов.

Мы видим, что ни яркое личное участие, ни только командная победа не гарантировали победу в конкурсе. Конкурс показал, что только правильный баланс — работа в команде с полной отдачей, работа на результат и хорошая “продажа” своего проекта — могут гарантировать победу. Все как в настоящей жизни.

Комментарии закрыты.