Корреляция и причинно-следственная связь: различия, примеры и как избежать ошибок.

Главная » Экономика » Корреляция и причинно-следственная связь: различия, примеры и как избежать ошибок.

В публичном обсуждении данных полно концептуальных ловушек, и среди них одной из самых частых является путаница между тем, что две вещи взаимосвязаны и одна является причиной другой. Чётко разграничивайте корреляцию и причинно-следственную связь. Это не просто статистическая формальность; это практический навык, позволяющий избегать поспешных решений в здравоохранении, экономике, маркетинге и т. д. политология.

В следующих строках вы найдете полное и увлекательное руководство, которое поможет вам избежать этой ловушки. Мы дадим определения обоим понятиям и рассмотрим основные различия между ними.Мы рассмотрим повседневные примеры, которые на первый взгляд вводят в заблуждение, изучим методы выявления ложных взаимосвязей и проанализируем наиболее надежные подходы к установлению причинно-следственных связей в тех случаях, когда мы не можем свободно проводить эксперименты.

Что мы подразумеваем под корреляцией, а что под причинно-следственной связью?

Когда две переменные изменяются синхронно, обычно говорят, что они коррелированы: если одна увеличивается, то другая имеет тенденцию к увеличению, или наоборот. Корреляция — это мера взаимосвязи.Это позволяет количественно оценить интенсивность и направление этих взаимосвязанных явлений, но не объясняет, почему это происходит.

Причинно-следственная связь — это уже совсем другая история: она подразумевает, что изменение одной переменной вызывает изменение другой. Причинно-следственная связь носит направленный характер. Для этого необходим механизм, связывающий причину и следствие. Наличие причинно-следственной связи может привести или не привести к наблюдаемой корреляции в данных, в зависимости от того, как мы проводим измерения и при каких условиях.

Ключевые отличия, которые стоит запомнить

• Корреляция не подразумевает причинно-следственной связи.Возможно наличие взаимосвязи без лежащей в её основе причинно-следственной связи.
• Причинно-следственная связь подразумевает наличие механизма.Однако, если существуют факторы контроля или компенсации, которые маскируют эту закономерность, она может и не проявляться в виде корреляции.
• Корреляция симметрична. (A с B — это то же самое, что B с A), причинно-следственная связь — нет: то, что A вызывает B, не означает, что B вызывает A.

Примеры, проверяющие интуицию.

Корреляция без причинно-следственной связи: ловушка третьей переменной.

При анализе динамики показателей обычно наблюдается, что в жаркие месяцы увеличиваются продажи мороженого, а вместе с ними и количество случаев утопления на пляже. Оба сериала развиваются синхронно благодаря общему фактору. (температура и увеличение использования пляжа), а не потому, что мороженое вызывает утопления или наоборот. Это классический пример ложной корреляции, вызванной искажающим фактором.

Аналогичная ситуация произошла с результатами исследования в СМИ, показавшего, что у младенцев, спящих при включенном свете, повышается вероятность развития близорукости. Позже выяснилось, что у родителей была близорукость. Это повлияло как на использование ночного освещения, так и, через наследственность, на зрение детей. И снова, третья переменная, объясняющая эту взаимосвязь.

Когда есть причина, но корреляция исчезает.

Представьте себе термостат, который поддерживает постоянную температуру в доме, управляя печью, работающей на топливе. Количество топлива действительно вызывает выделение тепла.Однако, поскольку термостат компенсирует потери, температура в салоне может не коррелировать с количеством сожженного топлива. Существует причинно-следственная связь, но в данном измерении отсутствует наблюдаемая корреляция.

Направление имеет значение, и иногда оно меняется в худшую сторону.

Часто говорят, что активный образ жизни защищает когнитивные способности у пожилых людей. Однако обратная причинно-следственная связь возможна.Те, у кого лучше сохраняются когнитивные функции, как правило, ведут более активный образ жизни. Однако одной этой взаимосвязи недостаточно, чтобы объяснить влияние времени.

Парадокс Симпсона

Этот парадокс возникает, когда тенденция, наблюдаемая в совокупности, меняется на противоположную при разделении на подгруппы. Распространенный пример — это лечение, которое оказывается более эффективным при высоких дозах. В целом, однако, при анализе данных по полу картина меняется на противоположную, поскольку распределение доз различается между группами. Сравнивать несравнимые вещи искажает реальность.

Как выявить ложные связи

Полезным инструментом является частичная корреляция: Он измеряет взаимосвязь между двумя переменными, контролируя при этом третью.Если связь между мороженым и утоплением исчезает при учете температуры, значит, эта связь была ложной.

Ещё одна стратегия — стратификация анализа: Разделить по соответствующим группам (возраст, пол, регион) или скорректировать модели с учетом мешающих переменных, чтобы изолировать эффекты и избежать вводящих в заблуждение выводов, обусловленных смешением популяций.

Основные метрики для количественной оценки взаимосвязи

Ковариация указывает направление совместного изменения двух переменных. Положительное значение, если они движутся в одном направлении, и отрицательное, если они движутся в противоположных направлениях.Значение, близкое к нулю, указывает на отсутствие линейной зависимости. Его масштаб зависит от единиц измерения, поэтому он несопоставим между различными парами; такая осторожность в отношении метрик напоминает практику контроль качества.

Коэффициент Пирсона нормализует ковариацию и принимает значения от -1 до 1. Это позволяет количественно оценить силу линейной зависимости. Между непрерывными количественными переменными, где 1 или -1 представляют собой идеальные взаимосвязи. Также это позволяет определить p-значение для проверки того, можно ли объяснить наблюдаемую связь случайностью при определенных предположениях.

Коэффициент Спирмена оценивает взаимосвязь на основе рангов. Этот метод хорошо работает, когда зависимость монотонна, но не обязательно линейна.Кроме того, он более устойчив к выбросам. Более того, он поддерживает порядковые переменные, чего не делает коэффициент Пирсона.

К другим, менее распространенным вариантам относятся метод Кендалла для сопоставления ранжирования и бисериальная точка. Одна переменная является дихотомической, а другая — интервальной.Выбор правильного коэффициента позволяет избежать неверных интерпретаций.

Что касается известного p-значения, стоит уточнить: Речь идёт не о вероятности того, что гипотеза верна.Это показывает, насколько экстремальными были бы наблюдаемые данные, если бы нулевая модель была верна. Низкое значение p указывает на то, что наблюдаемая связь вряд ли случайна, но само по себе не доказывает причинно-следственную связь.

Когда использовать каждую меру

Если вы хотите узнать, в каком направлении движутся две переменные, не сравнивая их величины, Ковариация дает вам подсказку.Для измерения силы линейной зависимости с непрерывными переменными и без крупных выбросов естественным выбором является коэффициент корреляции Пирсона.

Когда вы подозреваете, что зависимость монотонна, но не линейна, Вы работаете с экстремальными значениями или с порядковыми данными?Коэффициент ранговой корреляции Спирмена, как правило, дает более надежные результаты. И помните: любая корреляция описывает взаимосвязь, а не эффект.

Что такое причинно-следственная модель и для чего она используется?

Моделирование структурными уравнениями (SEM) позволяет указать одновременные отношения Между переменными с ошибками и теоретическими ограничениями. Они полезны, когда система имеет несколько причинно-следственных связей и скрытых переменных.

Как делать строгие причинно-следственные выводы

Критерием оценки являются рандомизированные контролируемые исследования. Рандомизация предполагает случайное распределение пациентов на группу лечения и контрольную группу.путем уравновешивания наблюдаемых и ненаблюдаемых факторов в среднем. Если все остальные факторы остаются сопоставимыми, разница в результатах объясняется применяемым методом лечения.

Когда рандомизация невозможна, вступают в действие квазиэкспериментальные схемы. Цель процесса сопоставления — сравнение сопоставимых объектов., сопоставляя экспериментальные и контрольные единицы по соответствующим ковариатам.

Разрыв в регрессии достигается за счет порогового значения: пороговое значение, определяющее необходимость лечения.Те, кто находится чуть выше и чуть ниже порогового значения, схожи, за исключением применяемого вмешательства, которое позволяет оценить эффект на локальном уровне.

Различия в различиях сравниваются эволюция экспериментальной и контрольной групп До и после вмешательства, при условии сохранения аналогичных тенденций в отсутствие лечения. Это мощный инструмент при оценке эффективности политики.

Наблюдательные данные также могут быть использованы для прогресса путем объединения теории и статистики. ситуационный анализ. Достоверные инструменты, синтетические контрольные образцы или модели машинного обучения Они помогают приблизительно оценить последствия, всегда четко указывая на исходные предположения. Аналитические инструменты, такие как рекламные платформы или пакеты цифровой аналитики, иллюстрируют этот подход на примере исторических данных.

Корреляция в больших данных: возможности и подводные камни

Изучение корреляций в больших базах данных позволяет выявить ценные закономерности, но Чем больше массив данных, тем громче звучат ложные сигналы тревоги.Обнаруживаются поразительные ассоциации, которые являются результатом статистических совпадений, а не реальных взаимосвязей.

Алгоритмы выявляют закономерности, но без четко сформулированного причинно-следственного вопроса и надежного дизайна исследованияВероятность ошибочного принятия шума за сигнал резко возрастает. Поэтому корреляция служит основой для выдвижения гипотез; причинно-следственная связь подтверждается хорошо спланированными исследованиями.

Ответственный язык: предупреждающие знаки

При чтении заголовков следует остерегаться категоричных глаголов, таких как «уменьшать», «увеличивать», «вызывать» или «исключать», если данные получены в результате наблюдательных исследований. Рекомендуется использовать взвешенные выражения. Поскольку это связано с чем-то, что может улучшить ситуацию, это указывает на наличие взаимосвязи.

Он также подозревает причинно-следственные утверждения, основанные на простых наблюденияхСвязь не определяет направление: оно может быть противоположным или обусловлено искажающими факторами. Осторожность в формулировках предотвращает принятие неверных решений.

Показательным примером стало утверждение о том, что потребление оливкового масла снижает смертность. Наблюдательные данные выявляют благоприятные взаимосвязи.Однако этого недостаточно для утверждения о причинно-следственной связи; более уместно сказать, что это связано со снижением смертности или что это может снизить ее, в зависимости от результатов исследований.

Кроме того, появились заголовки о гормональной терапии, которая, по-видимому, защищает сердце. С учетом социально-экономического уровня и образа жизни. Эффект ослабел и даже обратился вспять. Скрытые факторы могут нанести большой ущерб, если их не контролировать.

Примеры из повседневной жизни, которые вводят в заблуждение.

Петух кукарекает перед рассветом, и солнце восходит каждый день, но Пение не заставит солнце взойти.Аналогично, мытье автомобиля не вызывает дождь, хотя иногда может показаться, что это простое совпадение.

В медицине, когда у вас простуда, вы пьете лимонный сок, и через несколько дней вам становится лучше. Естественное развитие инфекцииУлучшение состояния объясняется отдыхом и другими мерами по уходу; мы не можем просто приписать его употреблению сока.

Изменения в симптомах могут наблюдаться при любом лечении. Этого недостаточно, чтобы сделать вывод о том, что изменения вызваны лечением.В этом могут играть роль внешние факторы, регрессия к среднему значению или спонтанные улучшения.

У тех, кто потребляет меньше ультрапереработанных продуктов, как правило, ниже частота возникновения рака, но Эта разница может отражать более здоровый образ жизни.Более высокая физическая активность, лучший доступ к медицинской помощи или социально-экономические различия. Эта взаимосвязь не доказывает причинно-следственную связь.

От корреляции к причинно-следственной связи на основе эмпирических исследований

Известный пример: более высокая физическая активность коррелирует с меньшей вероятностью развития сердечно-сосудистых заболеваний. Корреляция открывает путь для выдвижения гипотез.Например, физические упражнения могут увеличить выработку оксида азота и расширить кровеносные сосуды, снизив кровяное давление. Контролируемый эксперимент позволит измерить этот механизм и оценить причинно-следственную связь.

Ещё один наивный пример: вы можете обнаружить, что увеличение физической активности связано с более высокой частотой возникновения рака кожи. Наиболее распространенной причиной является воздействие солнечных лучей.что увеличивает как активность на открытом воздухе, так и риск развития рака кожи. Без экспериментального дизайна или надлежащего контроля за искажающими факторами причинно-следственная интерпретация будет ошибочной.

Регрессия и причинно-следственная связь: что работает, а что нет.

Регрессионный анализ позволяет предсказать значение одной переменной на основе другой при соблюдении статистических предположений. Однако ни корреляция, ни регрессия не доказывают причинно-следственную связь. сами по себе; причинно-следственный смысл должен исходить из теории, темпоральности или замысла.

Для того чтобы говорить о причинно-следственной связи, необходимо как минимум статистически значимое взаимодействие. критерий управленияЛибо причинная переменная предшествует эффекту, либо существует веское теоретическое обоснование причинно-следственной связи. Без учета временной последовательности или теории существует ассоциация, а не причинно-следственная связь.

Пример: исследовать, существует ли связь между возрастом, в котором ребенок начинает составлять свои первые предложения, и его последующими успехами в учебе. Сначала проводится сравнение взаимосвязи.Если таковая существует, то ее направление ясно из хронологии: успех в школе не может вернуться в прошлое и измениться с того момента, когда он впервые проявился.

А если вам нужны инструменты для практики, существуют онлайн-калькуляторы и ресурсы, которые помогут вам. Они позволяют проводить корреляционный анализ и регрессионный анализ. Проще говоря, некоторые платформы, такие как Numiqo, облегчают проведение подобных анализов для учителей, исследователей и специалистов.

Как выбрать между корреляционным и причинно-следственным анализом в зависимости от поставленной задачи?

Корреляция идеально подходит для изучения и мониторинга взаимосвязей на информационных панелях. Расставьте приоритеты среди гипотез и выявите закономерности.. En маркетинг Сопоставление повторных посещений с конверсиями или выявление контента, популярность которого зависит от частоты покупок, очень полезно.

Когда цель состоит в том, чтобы оценить влияние конкретного вмешательства (что произойдет, если я увеличу рекламный бюджет), Вам необходимы причинно-следственные методы.В идеале, A/B-тестирование с рандомизированным распределением; если это невозможно, используются квазиэкспериментальные схемы, такие как сопоставление, разрыв или разность разностей.

При работе с данными, полученными из таких инструментов, как аналитические пакеты и рекламные платформы, часто прибегают к следующему методу: модели с использованием наблюдательных данных Подкреплено четкими предположениями. Иногда для построения правдоподобных контрфактических сценариев используются валидные инструменты или синтетический контроль.

Если вас интересуют эксперименты с воспроизводимыми примерами, вы можете ознакомиться с репозиториями, демонстрирующими такие примеры. Базовый код для работы с данными в различных сценариях.как в примере, доступном по этой ссылке: github.com/pichu2707/corr-causal-enae.

Практические советы по оценке доказательств

Прежде чем поверить сенсационному заголовку, задайте себе вопрос: Используется ли рандомизация или только наблюдение?Применяются ли адекватные меры контроля за искажающими факторами? Наблюдается ли одинаковая картина в разных подгруппах, или же возникает парадокс Симпсона? Именно так отфильтровывается шум.

Когда вы видите в описании наблюдательного исследования сильный глагол, мысленно перефразируйте его в условном наклонении: связано с и может уменьшить или увеличитьЭта небольшая лингвистическая дисциплина избегает чрезмерных интерпретаций и поддерживает научную честность.

Мысленно классифицируйте исследование: наблюдательное или интервенционное. Исследователи, проводящие наблюдения, обнаруживают взаимосвязи.Хорошо проведенные экспериментальные исследования позволяют с гораздо большей уверенностью установить причинно-следственную связь. Они действуют как быстрый фильтр, позволяющий избежать ошибок.

В клинической психологии и психотерапии, где сосуществуют и взаимодействуют многочисленные факторы, команды, имеющие опыт работы в реальных условиях Они напоминают нам, что причинно-следственный анализ требует особой осторожности и соответствующего подхода, чтобы избежать путаницы между поразительными корреляциями и реальными терапевтическими эффектами.

Внимательный анализ данных, выбор подходящего инструмента для ответа на вопрос и тщательная формулировка вопроса — вот что отличает наблюдение за тем, что два явления движутся синхронно, от демонстрации того, что одно влияет на другое. Используйте корреляцию для изучения и определения приоритетности гипотез.Оставьте причинно-следственные методы для установления причинно-следственных связей и принятия решений; таким образом, вы с наибольшей степенью надежности перейдете от вопроса «что влияет на что» к вопросу «что является причиной чего».