Нас также интересуют корреляционные связи – область более зыбкая. Как я уже упоминал, чем лучше испытуемый справлялся с тестом, тем больше, как правило, был у него доход. Это открытие потенциально интересно, но опять же насколько можно быть уверенным, что оно отражает состояние всего населения?
Допустим, я опросил 10 случайных добровольцев, один из которых оказался миллиардером, и притом весьма любознательным. Одно только это укажет на предполагаемую связь между широтой кругозора и уровнем дохода, однако на деле это статистический «шум», который не стоит учитывать.
По этому поводу специалисты по статистике беспокоятся, и довольно сильно. Свои сомнения они выражают через оценку значения p. Говоря простым языком, p-значение – это вероятность того, что получен совершенно случайный результат, а выводы исследования ошибочны. Поскольку нам нужны результаты, соответствующие действительности, а не ошибочные, чем меньше p-значение, тем лучше.
Условно p-значение, не превышающее 0,05 (что соответствует 5 %, или одному из двадцати), считается «статистически значимым». Другими словами, исследователи хотят быть уверенными хотя бы на 95 %, что результат получен не по ошибке. Конечно, вся эта «статистическая значимость» свидетельствует лишь о том, что вероятность, с которой вывод подкрепляется данными, достаточно высокая. Чего-то таинственного в этом 5 %-м пороге нет, да и залогом истинности он быть не может. Тем не менее этот порог важен для публикации в академических журналах. Поскольку существует принцип «публикуйся или умри», скептики утверждают, что достижение порогового p-значения 0,05 похоже на выкидывание игральной кости с 20 гранями: повторяйте эксперимент достаточно долго, и непременно появится что-нибудь, что можно опубликовать. (Подобные действия считаются подтасовкой p-значения.) Журналисты и интервьюеры широко, хотя и не повсеместно, пользуются 0,05 p-значением, когда пишут о результатах проведенного исследования.
Вернемся к тесту на общую эрудицию. P-значение для связи между количеством правильных ответов и размером семейного дохода оказалось равным <0,001. Это означает, что вероятность ошибочного результата составила менее одного шанса из тысячи. Как вам теперь известно, низкое p-значение само по себе не доказывает истинность результатов. Но если вышло <0,001, то, по крайней мере, можно сказать, что лучшего p-значения нельзя и желать. (И на этом в рассуждениях на тему p-значений я ставлю точку. Скажу лишь тем, кому может быть интересно, что p-значения для многих исследований, упомянутых в этой книге, приводятся в приложении. Все корреляции, о которых пойдет речь, будут существенными, а у большинства пороговое значение гораздо ниже 0,05.)
Пришло время поговорить о еще одном важном правиле статистики: корреляция не доказывает причинно-следственную связь.
В качестве наглядного подтверждения я с удовольствием вспоминаю веб-сайт Spurious Correlations о ложных корреляциях, где приводится впечатляющая и совершенно бессодержательная статистика. С 1999 по 2009 г., к примеру, прослеживается корреляционная связь между числом людей, утонувших в бассейне, и количеством фильмов с Николасом Кейджем. Существует корреляция за тот же период между возрастом победительниц конкурса «Мисс Америка» и числом смертей из-за обваривания кипятком и других ожогов.
Корреляция между возрастом победительниц «Мисс Америка» и числом смертей из-за обваривания кипятком и других ожогов
В наш перенасыщенный данными век отыскать бессмысленные совпадения вроде этих довольно просто.
Некоторые из них успешно проходят тест на статистическую значимость. Всякий, кто станет искать корреляции достаточно долго и упорно, обязательно их найдет.
Вот почему разумно сосредоточиться на корреляциях, которые не лишены смысла. Существует очевидный фактор, объясняющий связь между знанием фактов и уровнем дохода: образование.
Если человек знает много фактов, он наверняка больше времени посвятил учебе. Кто хорошо образован, тот зарабатывает лучше. Помимо прочего, это подходящий девиз для рекламы подготовительных курсов и студенческого кредита. Дипломы Лиги плюща, Стэнфорда или Массачусетского технологического института приносят неплохие дивиденды (как было многократно засвидетельствовано). Для многих престижных профессий степени бакалавра искусств, магистра делового администрирования, доктора философии или медицины – эквивалент профсоюзного билета.
В связи с этим возникает вопрос: считать ли знание фактов исключительно надежным предвестником размера доходов или только индикатором уровня образования, полученного в учебных заведениях (то есть считать ли знание фактов «суррогатом» образования)?
Специалистам по статистике часто хочется определить влияние не одного, а сразу нескольких факторов, ответственных за определенный результат. Один из наиболее часто используемых методов – линейные регрессии. За мудреным названием стоит простая идея. Допустим, вам кажется, что между количеством пончиков, которые съедает человек, и его весом существует взаимосвязь. Можно ли по съедаемым пончикам предсказать вес едока? Один из способов это выяснить – собрать личные данные о весе и недельном пончиковом рационе. Затем возьмите лист миллиметровой бумаги и для каждого едока – персонального набора данных – отметьте точку (получится точечная диаграмма). Положение точек указывает на число съедаемых пончиков (по оси x) и вес соответствующего едока (по оси y).