Как врать при помощи статистики
Как лгать при помощи статистики
| Автор: | Дарелл Хафф |
| Перевод: | Елена Лалаян |
| Жанр: | Обществознание |
| Год: | 2015 |
| ISBN: | 978-5-9614-3984-6 |
В этой всемирно известной книге Дарелл Хафф рассказывает о различных способах злоупотребления статистикой в целях обмана аудитории и манипулирования ее мнением. Каждый день на вас пытаются повлиять, чтобы сподвигнуть на покупку какого-то «нужного» продукта или на выбор «правильного» кандидата: «Благодаря пасте “Чистые зубы” образование кариеса снижается на 23 %!»; «Политика N поддерживает 85 % граждан»… Как понять, насколько достоверны те или иные данные? Каким образом происходят подсчеты? Что учитывается, а что остается за кадром? Автор раскрывает секретные инструменты статистиков и вооружает читателя знаниями, которые помогут разобраться во всех хитросплетениях этой науки и не позволят ввести в заблуждение.
Переводчик Е. Лалаян
Редактор А. Черникова
Научный редактор В. Ионов
Руководитель проекта А. Деркач
Корректор Е. Аксёнова
Компьютерная верстка К. Свищёв
Дизайн обложки Ю. Буга
© Darrell Huff and Irving Geis, 1954
© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2015
Все права защищены. Произведение предназначено исключительно для частного использования. Никакая часть электронного экземпляра данной книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, включая размещение в сети Интернет и в корпоративных сетях, для публичного или коллективного использования без письменного разрешения владельца авторских прав. За нарушение авторских прав законодательством предусмотрена выплата компенсации правообладателя в размере до 5 млн. рублей (ст. 49 ЗОАП), а также уголовная ответственность в виде лишения свободы на срок до 6 лет (ст. 146 УК РФ).
Как лгать при помощи статистики скачать fb2, epub, pdf, txt бесплатно
Общество в различных его аспектах изучается значительным количеством гуманитарных и социальных дисциплин: социальной философией, политической экономией, социологией, историей, демографией, психологией, политологией.
Систематизированное изложение основных достижений данных наук в средней школе дает курс «Обществознание». Изучение данного курса нацелено на наделение учащихся знаниями об обществе, путях и формах общественного развития, особенностях функционирования различных сфер жизни общества.
Подготовлено в соответствии с Государственным образовательным стандартом.
Левинсон пишет о московских протестах, как если бы они происходили одновременно в разных топосах: в интеллектуальном, в социологическом, в России в целом, в интернете и, наконец, в публичном пространстве Москвы. Топосы эти сложным образом перетекают друг в друга и друг с другом пересекаются, образуя сложную и неочевидную систему открытых сцен, убежищ, коммуникативных каналов, точек накопления и наоборот, высвобождения энергии.
Фундамент нашей воспитательной системы построен на культуре материализма. Но, как и все самое существенное, идеи и ценности, которые направляют воспитание и образование, должны исходить из глубин народной души. Напротив, то, что мы видим, это воспитание, которое руководствуется принципами экономики и навязывает воспитуемым иго рабской используемости. Поэтому цель нового образования должна звучать так: преодоление рационального индивидуализма и присоединение подрастающего поколения к народной общности путем принятия обязательной системы мира, которая одновременно ведет как к свободе, так и к народно-национальному единству.
В представленном Вашему вниманию рассказе речь пойдёт о происхождении человека. Первобытной его стадии. Особо интересен момент превращения животного в человека разумного. Ведь ещё не найдены останки, связующие человека с животным миром. А там ли их ищут?
Повторим сначала то, что уже известно и давно подмечено.
Во-первых, человек лишён густого волосяного покрова. Случайно так оказаться не могло, это работа естественного отбора. В лесу шерсть человеку просто необходима. Она защищала бы его от случайных царапин и порезов. Давала бы тепло в холодные времена, защищала бы от зноя. Сейчас в лесах и джунглях нет животных без развитого волосяного покрова, это не удивительно. Естественный отбор не дал бы никаких преимуществ мутанту, родившемуся без шерсти, наоборот, в условиях леса такое животное проигрывало бы своим собратьям. Без шерсти в саванне человек выносливее в преследовании животных и может преследовать животное до его обессиливания. Но тогда что же помешало естественному отбору вывести животных без шерсти в саванне? Скорее всего такой вид охоты (загонять животное до обессиливания) появился не так давно. Вывод: человек произошёл от обезьяны на берегу моря. Выходя на берег и обсыхая, предок человека, покрытый шерстью, дольше сох, а значит, лишние энергетические потери. Появление мутанта без шерсти давало ему преимущество в естественном отборе.
Как врать при помощи статистики
Как лгать при помощи статистики
Переводчик Е. Лалаян
Редактор А. Черникова
Научный редактор В. Ионов
Руководитель проекта А. Деркач
Корректор Е. Аксёнова
Компьютерная верстка К. Свищёв
Дизайн обложки Ю. Буга
© Darrell Huff and Irving Geis, 1954
© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2015
Все права защищены. Произведение предназначено исключительно для частного использования. Никакая часть электронного экземпляра данной книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, включая размещение в сети Интернет и в корпоративных сетях, для публичного или коллективного использования без письменного разрешения владельца авторских прав. За нарушение авторских прав законодательством предусмотрена выплата компенсации правообладателя в размере до 5 млн. рублей (ст. 49 ЗОАП), а также уголовная ответственность в виде лишения свободы на срок до 6 лет (ст. 146 УК РФ).
Существуют три вида лжи: ложь, наглая ложь и статистика.
Придет время, и статистическое мышление станет таким же необходимым качеством для истинного гражданина, как умение читать и писать.
Нам досаждают не столько те вещи, о которых мы не знаем, сколько те, о которых мы знаем, что с ними что-то не так.
Круглые числа всегда лгут.
У меня есть обширная тема [статистика] и есть много, что написать по этой теме, но со всей остротой я осознаю, что мне не хватит литературных талантов, чтобы изложить ее просто и доходчиво, не жертвуя при этом точностью и основательностью.
Будь моя воля, я бы назвал эту книгу еще короче – «Как лгать», потому что ложь приобрела убедительность, логику и, что еще важнее, цифры, за которыми может скрываться все что угодно в «умелых руках». А «умелых рук» очень много.
В наше время вопросы лжи и правды все так же актуальны. Помимо прямого обмана появилось множество способов «огибать правду» или же показывать реальность таким образом, что даже знающему человеку сложно распознать скрывающуюся за ней ложь.
В искажении статистики заинтересованы все, кто ищет способы исказить общественное мнение и воспользоваться этим в целях собственного обогащения. Немало и таких, кто хочет скрыть настоящие цифры, потому как они отражают крайне неприглядные факты. Наконец, статистика оказывается объектом прямого манипулирования во всех случаях, когда она является частью процессов принятия решений государственного масштаба.
В России ситуация со статистикой никогда не была столь печальной, как сейчас. Если в 80-х и 90-х гг. прошлого столетия официальная статистика в России страдала от тотального недофинансирования, то сегодня сами принципы государственного и муниципального управления в России таковы, что статистика стремительно превращается из инструмента доверия в инструмент распределения государственных средств.
В последних исследованиях[1] Фонда «Хамовники»[2] Ольга Моляренко очень подробно разобрала примеры искажения муниципальной статистики в России. Из-за отсутствия кооперации между органами власти, использования статистических данных как основы для принятия решений о выделении бюджетных средств и многих других российских особенностей мы оказываемся перед острой необходимостью реорганизации сбора государственной статистики в целом.
Книга Даррелла Хаффа хороша не выводами и даже не огромным числом примеров, а тем, что она учит критическому мышлению, она учит отношению к цифрам не как к «сакральному знанию», а как к инструменту, с помощью которого осуществляется манипулирование нашим мнением.
И я могу сказать, что именно критического взгляда нам остро не хватает в последние годы. Вот лишь один пример. Одна общественная организация в России решила публиковать свой рейтинг восприятия коррупции. Дабы придать этому рейтингу «научности», в качестве критериев было решено использовать абсолютные статистические показатели, такие как статистика преступлений, публикуемая МВД и Генеральной прокуратурой. Хотя благое намерение отслеживать ситуацию с коррупцией в нашей стране можно только приветствовать, сам подход является ошибочным, потому как ошибочны изначально заложенные в нем метрики.
Муниципальная статистика и проблемы сбора информации местной властью// Вестник Новосиб. гос. ун-та. Серия: Социально-экономические науки. 2014. Т. 14, вып. 4. С. 125–140
Как лгать при помощи статистики?
В текущие времена постоянной информационной войны всех со всеми считаю необходимым ввести в школьные программу «Критическое мышление» и хотя бы «Основы аналитики» (каждый должен понимать, что такое медиана, квартиль, выборка, когортный анализ). Но пока такого нет – давайте хотя бы периодически качаться в этих направлениях.
Ложь при помощи статистики – это целая наука и есть даже одноименная посту книга на эту тему, но сейчас не о ней, а о том, что в эпоху пандемии можно наблюдать много попыток манипулировать мнением при помощи статистики. Кто-то пытается запугать, другие, наоборот, продолжают убеждать, что от гриппа каждый год всегда столько же людей болело/умирало, и бояться нечего. Я не хочу никого ни к чему склонять в этой инфовойне, но хочу показать наглядно совсем на другом примере, как работает статистика и почему к ней надо всегда подходить со скептицизмом.
Короче, пост для развития критического мышления.
Думаю, многие, как и я, часто слышали утверждение, что средняя ожидаемая продолжительность жизни двести лет назад была 35, а в более древнем мире – вообще 25 лет. Складывается впечатление, будто за мамонтами только подростки и охотились.
На то, что что-то здесь не так, меня натолкнула мысль – а кто тогда детей воспитывал, если в 25 все умирали? Зная, как интерпретируют статистику, я решил почитать материалы на тему продолжительности жизни 200 лет назад и раньше, чтобы понять откуда берутся такие числа.
Что я узнал в итоге.
Средняя продолжительность жизни действительно могла быть 35 и даже 25 лет. Но есть один важный нюанс. В 17 веке в Швеции умирали до 40% всех младенцев, в Германии – до 35%, а в менее развитых странах ситуация была еще хуже. Вполне вероятно, что в более ранние века этот процент был выше. Но суть в том, что если у отца было 10 детей, и 4 из них умерли в возрасте до одного года, а 6 других дожили хотя бы до 60, то средняя продолжительность жизни у всех десяти будет 36 лет. Кстати, для сравнения, Википедия говорит, что, по данным на 2016 год, в Германии детская смертность составила 0,32%, а в Швеции 0,24%.
Раньше ситуация была явно похуже. К примеру, в бронзовом веке ожидаемая продолжительность жизни была около 30 лет, но 15-летние спокойно могли рассчитывать прожить еще 30–35 лет, то есть, дожить до 45-50.
В итоге, главный вывод, который мы должны сделать из статистики средней продолжительности жизни в древние времена: тогда был высокий уровень детской смертности. Но по умолчанию мы делаем другой, представляя, что после 25-30 лет все резко начинали умирать, – в этом и ловушка статистики. Вроде бы тебе не врут, говоря, что раньше средний возраст был 25-30 лет, но мозг сам додумывает ложь.
Так что думайте своей головой и не верьте числам, только потому что это числа.
А закончить этот пост хочу цитатой из упомянутой в начале книги Дарелла Хаффа «Как лгать при помощи статистики»:
Давным-давно, когда Университет Джонса Хопкинса только начал принимать девушек, некто, не испытывавший особых восторгов по поводу совместного обучения, обнародовал данные, ставшие для многих потрясением: оказывается, 33% студенток университета повыходили замуж за преподавателей!
Однако исходные цифры позволяли точнее оценить картину «бедствия».
На тот момент в списке учащихся числились три девушки-студентки, и одна из них действительно вышла замуж за преподавателя.
Как правильно лгать с помощью статистики
Существуют три вида лжи: ложь, наглая ложь и статистика (источник)
Есть такой замечательный жанр — «вредные советы», в котором детям дают советы, а дети, как известно, всё делают наоборот и получается всё как раз правильно. Может быть и со всем остальным так получится?
Статистика, инфографика, big data, анализ данных и data science — этим сейчас кто только не занят. Все знают как правильно всем этим заниматься, осталось только кому-то написать как НЕ нужно этого делать. В данной статье мы именно этим и займемся.
Hazen Robert «Curve fitting». 1978, Science.
Предвзятая выборка (Sampling bias)
В 1948 году во время президентской гонки в США в ночь на оглашение результатов выборов Труман (демократы) против Дьюи (республиканцы) газета Chicago Tribune опубликовала свой, пожалуй, самый знаменитый заголовок DEWEY DEFEATS TRUMAN (см. фото). Сразу после закрытия участков газета провела опрос, обзвонив огромное (достаточное для выборки) число избирателей, и всё предвещало оглушительную победу Дьюи. На фото мы видим смеющегося Трумана, победителя выборов 48го года. Что же пошло не так?
Людей обзванивали действительно случайно и в достаточном количестве, но в 48-ом году телефон был доступен только людям определенного достатка и редко встречался у людей с небольшим заработком. Таким образом, сам метод опроса вносит поправку в распределение голосов. Выборка не учитывала достаточно широкий пласт избирателей Трумана (как правило демократы имеют большую долю голосов среди бедного населения), которым телефон в свою очередь был недоступен. Такая выборка и называется предвзятой (sampling bias).
Народное творчество о данном феномене:
По данным интернет-голосования 100% людей пользуются интернетом.
Зарплата выпускников
Никого не удивляло, что когда мы слышим о зарплатах выпускников ВУЗов, то почему-то всегда это неправдоподобно высокие цифры? В США сейчас доходит дело даже до судов, где выпускники утверждают, что данные по зарплатам искусственно завышены.
(картинка из How to Lie with Statistics)
Это довольно старая проблема, согласно Darrell Huff, подобный вопрос возникал у выпускников Yale 24-го года. И на самом деле все говорят правду, да только не всю. Сбор статистики происходил в виде опросов (а в те годы с помощью бумажной почты). Отправляют ответ далеко не все, а только небольшая часть всех выпускников; активнее других отвечают те, у кого дела идут хорошо (что часто выражается в неплохой зарплате), поэтому мы видим только «хорошую» часть картины. Это-то и создаёт предвзятость выборки и делает результаты подобных опросов абсолютно бесполезными.
Правильно выбираем среднее (Well-chosen average)
Представим себе компанию, в которой руководитель получает 25 тысяч, его заместитель 7,6 тысяч, топ-менеджеры по 5,5 тысяч, менеджеры среднего звена по 3,5 тысячи, младшие менеджеры по 2,5 тысячи, а обычные работники по 1,4 тысячи (абстрактных фунтиков) в месяц.
И наша задача представить информацию о компании в положительном свете. Мы можем написать средняя заработная плата в компании составляет X, но что означает среднее? Рассмотрим возможные варианты (см. схему ниже):
(картинка из How to Lie with Statistics)
Арифметическое среднее некоторого конечного множества X=
Это самая бесполезная информация с точки зрения работника — 3,472 средняя зарплата, но за счет чего получается такая высокая цифра? За счет высоких зарплат руководства, что создает иллюзию, что работник будет получать столько же. С точки зрения работника данная величина не является особо информативной.
Конечно же народное творчество не обошло стороной эту особенность «средней величины» в виде средне арифметического
Чиновники едят мясо, я — капусту. В среднем мы едим голубцы.
Медиана некоторого распределения P(X) (X=
Проще говоря, половина работников получает больше данной величины, а половина меньше — ровно середина распределения! Данная статистика достаточно информативна для работников компании, так как она позволяет определить как зарплата сотрудника соотносится с большинством сотрудников.
Мода конечного множества X=
Таким образом в зависимости от ситуации под средним значением может пониматься любая из указанных выше величин (в принципе и не только из них). Поэтому принципиально важно понять, как же рассчитывается это среднее значение.
И еще 10 неудачных экспериментов, про которые мы не написали
Опустим обычную газету в серную кислоту, а журнал ТВ Парк — в дистиллированную воду! Почувствовали разницу? С журналом ничего не произошло — бумага как новая! (Весь ролик тут.)
Наши исследования сообщают, что зубная паста Doake’s на 23% процента эффектнее конкурентов, и всё это благодаря Dr Cornish’s Tooth Powder! (Который наверняка содержал β-каротин и секретную формулу леса — прим. автора.) Вы наверное удивитесь, но исследование действительно провели и даже выпустили технический отчет. И эксперимент действительно показал, что зубная паста на 23% процента эффективнее конкурентов (чтобы это не значило). Но только вся ли это история?
В действительности выборка для эксперимента составляла всего лишь дюжину человек (согласно Darrell Huff и уже упомянутой книге). Это именно та выборка, которая нужна, чтобы получить любые результаты! Представим, что мы подбрасываем монетку пять раз. Какова вероятность, что все пять раз выпадет орел? (1/2) 5 = 1/32. Всего лишь одна тридцать вторая, это не может быть просто совпадением, если выпадут все пять орлов, ведь так? А теперь представим, что мы повторяем этот эксперимент 50 раз. Хоть одна из этих попыток увенчается успехом. О ней-то мы и напишем в отчете, а все другие эксперименты никуда не пойдут. Таким образом мы получим исключительно случайные данные, которые отлично вписываются в нашу задачу.
Играем со шкалой
Предположим, завтра нужно показать на совещании, что мы догнали конкурентов, но числа немного не сходятся, что же делать? Давайте немного подвигаем шкалой! Даже известный своей качественной работой с данными New York Times выпустил подобный совершенно сбивающий с толку график (обратите внимание на скачок с 800к до 1,5м в центре шкалы).
(пример из How to Display Data Badly Howard Wainer. The American Statistician, 1984.)
Выбираем 100%
Представим, что в прошлом году молоко стоило 10 копеек за литр и хлеб был 10 копеек за буханку. В этом году молоко упало в цене на 5 копеек, а хлеб вырос на 20. Внимание вопрос, что мы хотим доказать?
Представим, что прошлый год — это 100%, основание для расчетов. Тогда молоко упало в цене на 50% процентов, а хлеб вырос на 200%, среднее 125%, а значит в целом цены выросли на 25%.
Давайте попробуем еще разок, пусть текущий год — 100%, значит цены на молоко составляли 200% в прошлом году, а хлеб 50%. А значит, в прошлом году цены в среднем были на 25% выше!
(графики и пример из главы «How to Statisticulate» How to Lie with Statistics)
Скрываем нужные числа
Лучший способ что-то скрыть — это отвлечь внимание. Например, рассмотрим зависимость количества частных и публичных школ (в тысячах штук) по годам. Из графика видно, что число публичных школ сокращается, а число частных существенно не изменяется.
На самом деле рост числа частных школ скрыт на фоне числа публичных школ. Так как они отличаются на порядок, то фактически любые изменения будут не заметны на шкале с достаточно большим шагом. Перерисуем число частных школ отдельно; теперь мы отчетливо видим существенный рост числа частных школ, который был «скрыт» на предыдущем графике.
(пример и графики из How to Display Data Badly, Howard Wainer. The American Statistician, 1984.)
Визуальная метафора
Если сравнивать не с чем, а запутать очень хочется, то самое время для непонятных визуальных метафор. Например, если мы изобразим вместо длины площадь на графике, то любой рост будет казаться гораздо более значительным.
Рассмотрим потребление количества пива в США за 1970-1978 годы в миллионах баррелей и долю рынка компании Schlitz (см. график ниже). Неплохо выглядит, внушительно. Не правда ли?
А теперь давайте избавимся от ненужного «мусора» на данном графике и перерисуем его в нормальном виде. Уже как-то не так внушительно и серьезно выходит.
(графики и примеры из John P. Boyd, lecture notes How to Graph Badly or What. NOT to Do)
Первая картинка не врет, все числа в ней верные, только она неявно преподносит данные в совершенно ином свете.
(картинка из How to Lie with Statistics).
Пример качественной визуализации
Качественная визуализация прежде всего преподносит результаты, избегая неоднозначности, и передает достаточное количество информации в сжатом объеме. Про работу Шарль-Жозефа Минара хорошо сказано тут:
Тут прекрасно совершенно все, зрителя не держат за идиота, и не тратят его время на втыкание в
censored. Широкая бежевая полоса показывает размер армии в каждой точке похода. В правом верхнем углу — Москва, куда приходит французская армия и откуда начинается отступление, показанное черной полосой. К маршруту отступления для дополнительного интереса привязан график времени и температуры.
Вывод в итоге: изумленный зритель сравнивает размер армии на старте с тем, что вернулось домой. Зритель весь в чувствах, он узнал новое, он ощутил масштаб, он заворожен, он понял, что в школе ничего не узнал.
(Charles Joseph Minard: Napoleon’s Retreat From Moscow (The Russian Campaign 1812-1813), 1869.)
Заключение и дальнейшее чтение
76% всей статистики взято из головы
Данная подборка покрывает далеко не полный список приемов, которые осознанно, а также не осознанно искажают данные. Данная статья прежде всего демонстрирует, что мы должны очень внимательно следить за предоставленными нам статистическими данными и выводами сделанными на их основе.
Короткий список к дальнейшему чтению:
How to Lie with Statistics — замечательная небольшая книга, невероятно интересно и хорошо написанная, читается на одном дыхании. Демонстрирует основные «ошибки», которые допускают СМИ (и не только они) при работе с данными.
How to Display Data Badly. Howard Wainer. The American Statistician (1984) — сборник типичных ошибок и общих «вредных» правил, чаще всего встречающихся в работах с визуализацией данных.