Цифры врут. Как не дать статистике обмануть себя

Регулярное употребление в пищу бекона увеличивает риск рака! Тяжести легче поднимать, когда ругаешься! Видеоигры провоцируют жестокость! Самая любимая еда британцев - тосты с сыром! Гаджеты лишают сна и убивают нас! Всё это - заголовки из газет, всё это - результаты реальных научных исследований. Правдивы ли они? Ну, тут есть нюанс.

Вообще-то я очень много учил матстат в универе. (Если вы идёте на психфак и наивно думаете, что здесь наконец-то распрощаетесь с ненавистной школьной алгеброй - хахаха, подумайте ещё раз.) И честно люблю статистику. Она очаровательна и удивительна. Просто у нас всё невзаимно - она не любит меня, я всё равно довольно слабо её понимаю. В общем, я снова пытаюсь.

Книга состоит из маленьких глав-статеек, каждая из которых посвящена одному статистическому феномену или распространённой ошибке толкования. Чаще всего они построены по схеме "вот мы берём громкий заголовок из газеты, а вот объясняем, почему это так не работает". Примеры у книжки, правда, вышли малость устаревшие. :) Не в плохом смысле, скорее это такая невеселая ирония. Нередко Чиверсы рассматривают манипуляции статистикой ковида и то, как её вообще читать, а нам - к сожалению, - уже вообще не до него.

Книга хороша, действительно. При этом если вы хоть как-то учили статистику (даже так плохо, как я) и интересовались вещами вроде кризиса воспроизводимости исследований, то в принципе многое тут будет уже понятно и знакомо. Но, возможно, разъяснено более внятно, просто и понятно. Я, например, искренне не понимал, как прикладывать некоторые знакомые мне вещи к практике; неожиданно, но стало понятнее.

Давно ищу что-нибудь лёгкое [и воздушное] математическое. Нет, это не про математику. И бог с ней.
Это отлично написанное руководство пользователя новостей -- таких, в которых встречаются числа. (А они есть во многих новостях.) Вот про то, как не обмануться в числах, и рассказывают два автора с общей фамилией. Что значат числа в научной или популярной статье, значат ли они вообще хоть что-нибудь, и как это всё воспринимать.

Стараюсь читать надёжные источники: N+1, Элементы, Троицкий вариант. Но даже у них порой встречаются новости, которые рассказывают о неких мощных результатах, полученных путём тщательного исследования, например, поведения собаковладельцев... при том, что в экспериментах участвовала всего дюжина собак, а людей и того меньше.
В "обычных" же новостях никакие детали обычно вовсе не приводятся, одни только голые числа. Такое читать -- только расстраиваться.

Есть, конечно, простой рецепт рецепт -- по умолчанию делить любую информацию из новости на 16. Но это слишком примитивно. Том и Дэвид Чиверсы рассказывают, как следует подходить к этому делу правильно.
Ценно, что они берут реальные опубликованные новости, показывают, какие ошибочные выводы можно на их основании сделать, и объясняют, что не так. При этом авторы новостей как правило вовсе не стараются ввести читателя в заблуждение. Они сами добросовестно заблуждаются.
Особенно интересно мне было узнать, откуда дурацкие новости берутся. Оказывается, из научных публикаций. Не все научные работники одинаковы добросовестны, и мешают им устоявшиеся правила оценки их собственной работы и [правила] публикации полученных результатов. Вся эта практика толкает науку не всегда в нужном направлении. Иногда она даже вынуждает исследователей фальсифицировать данные. Вот это совсем плохо...

Давно я не читал такого отлично написанного научпопа. Не буду пересказывать их идеи, у меня всё равно так хорошо не выйдет.
Чиверсы умеют ясно излагать, а ещё они и талантливые литераторы. Пишут легко с хорошим чувством юмора, иронией и самоиронией. Это английский юмор.
Приведу одну только иллюстрацию. Она придётся по душе знатокам английской литературы, которых на Лайвлибе полно:

Самое ценное, что лично я почерпнул из книги, это всего одно английское слово -- зато какое!

Что ни говори, а англичане -- великие затейники.

Авторы писали книгу в 2020, в разгар коронавирусной эпопеи. Многие их размышления относятся к этой теме.
Тут забавно чувствовать своё превосходство: я-то уже знаю, что куда пришло, а они ещё нет. Ну и вообще теперь уже с ностальгией вспоминаются локдауны, битвы тестов... а о вакцинах речь не идёт: их ещё не сделали. Эх, прекрасные времена были, не то что теперь...

Книга знатная. Всем рекомендую. Информация будет полезна каждому, вне зависимости от степени знакомства со статистикой. Она пояснит, как и почему работает этот мир.
Не зря книга вошла в лонг-лист премии "Просветитель-2023". Ставлю рубль, что и в шорт-листе она будет.

Том Чиверс, Дэвид Чиверс
"Цифры врут. Как не дать статистике обмануть себя"

Современный мир переполнен разнообразными цифрами. В СМИ постоянно появляются те или иные цифры, числа и проценты, всяческая статистика и прочее. К сожалению, часть этих цифр ложная или по крайней мере ошибочная. Об этом данная книга.

В этой книге собраны распространенные ошибки, которые СМИ допускают при обработке каких-либо цифр. Часто, например, научный журналист перепечатывает материал из какого-нибудь нового исследования, но допускает кучу ошибок, и в журналистской статье оказывается в итоге совсем не то, что было в изначальном исследовании.

Если вам скажут, что количество заводов в некой стране увеличилось вдвое за год, то вы поразитесь - вот это темпы! А если добавить, что в прошлом году там был всего один завод, а в этом годы построили еще один? Ну да, количество заводов удвоилось - прирост 100% - но по существу ничего не изменилось.

В этой книге разбираются как неосознанные ошибки, возникающие от упрощения цифр или процентных показателей, так и сознательные искажения информации с помощью цифр. Например, если вам выдают некое число без обозначения контекста - и гадайте, это много или мало, и вообще что это число значит. Или в статье приводятся данные с проблемами выборки, выстраивается якобы причинно-следственная связь там, где ее нет, отдельные наблюдения выдаются за общие, выборочное представление фактов, проблемы составления рейтингов, необоснованные допущения и прочее.

Кроме того, нужно обращать внимание и на то, что изначальные исследования также могут быть с проблемами. Научные журналы хотели бы публиковать нечто новое и (или) интересное, а публиковать очередное исследование, в котором подтверждается что-то уже известное или говорится об отсутствии взаимосвязи между чем-то, считается неинтересным. Между тем для всестороннего исследования требуется многократное повторение, а затем обобщение многочисленных разрозненных исследований в метаанализе, чтобы указать на недостатки отдельных работ.

В конце концов есть и некоторые хитрости. В статистике есть полусерьезное утверждение, известное как закон Гудхарта: "Когда мера становится целью, она перестает быть хорошей мерой". Иными словами, если сверху руководством организации или политическим руководством страны устанавливается некий показатель, которого следует добиться, то вскоре этот показатель перестанет хоть что-то значить. Самый знаменитый пример тут - история о том, как англичане боролись с дикими кобрами в Индии, объявив награду за сданные шкурки кобр, но в итоге добились лишь того, что кобр стало только больше. Местные жители стали специально разводить кобр, потом сдавали их шкурки и получали таким образом деньги от колониального правительства. То же самое можно применить во многих других ситуациях (вы и сами без труда вспомните нечто подобное).

В итоге у нас вполне неплохая книга. Она небольшая и не содержит лишней воды. В каждой главе приводятся примеры новостных публикаций и разбор допущенных в них ошибок, а потом выдвигаются рекомендации о том, как таких ошибок можно было бы избежать. Книга сосредоточена на одной определенной области - все связано со СМИ, так что ее можно рассматривать как пособие для журналистов. А также для думающего читателя, желающего уметь распознать, когда его пытаются обмануть, что тоже полезно.