Кризис экспертизы.

[Tengro]

Представим, что у нас есть монетка. Честная, матстатистическая монетка, две стороны, шанс выпадения каждой - 1/2.
И есть эксперт, утверждающий, что способен предугадать, какой стороной упадет монетка, по фотографии, сделанной в первую долю секунды после подбрасывания.

Мы делаем сто тысяч бросков, делаем сто тысяч записей результата и сто тысяч фотографий, показываем их эксперту и записываем сто тысяч экспертных предсказаний.

Внимание, сложный вопрос: если эксперт предсказывает с точностью в 50%, стоит ли считать эксперта - экспертом?

И можно ли верить его экспертным прогнозам в дальнейшем?

Ответ очевиден.
Но стоит от метафоры перейти к "а давайте тот же метод анализа точности прогнозов применим к интернет-экспертам?", и у людей как отрезает.

Отчего так?

Comments

[Self-mad]

Tengro,

Ответ очевиден.

Ты очень хорошего мнения о людях.

[helvene]

Tengro, если применять его к интернет-экспертам в массе, то результат будет ожидаемый, со среднестатистической погрешностью. Но люди в такие моменты думают не о подразумеваемой массе, а отдельных из нее голосах, с мнением которых еще и склонны соглашаться.

[fearitha]

Tengro, "но в половине-то случаев он прав!"

[Tengro]

helvene, мне скорее даже крайний случай интересен - когда человек даёт сорок неверных прогнозов подряд, но всё ещё имеет репутацию эксперта. Это вообще взрывает мне мозг. Окей, я ещё могу понять, как то, что эксперт "человек хороший", может влиять на доверие при более-менее равном сочетании верных и неверных прогнозов.
Self-mad, эм, но _как_ ответ может быть неочевиден? Это же даже не проблема ложноположительного срабатывания, это совсем на поверхности!

fearitha, неужели мысль о том, что важно не количество верных прогнозов, а сравнение с количеством верных угадываний - сложная?