Рациональные числа

Интересная статистика и данные из разных областей

Эффект Даннинга-Крюгера — автокорреляция

Перевод статьи Блейра Фикса

Слышали ли вы об «эффекте Даннинга-Крюгера»? Это (кажущаяся) тенденция неквалифицированных людей переоценивать свою компетентность. Открытый в 1999 году психологами Джастином Крюгером и Дэвидом Даннингом, эффект с тех пор стал знаменитым

И вы поймёте, почему

Это одна из идей, которая настолько привлекательна, что не может не быть правдой. Всем же известно, что идиоты, как правило, не осознают своего идиотизма. Или, как выразился Джон Клиз:

Если вы очень очень глупы, как вы можете осознать, что вы очень очень очень глупы?

Конечно, психологи тщательно следят за тем, чтобы доказательства соответствовали научному критерию повторяемости. Но, как ни старайся, эффект Даннинга-Крюгера следует из данных. Поэтому теория кажется обоснованной

Но есть одна проблема

Эффект Даннинга-Крюгера проявляется даже в тех данных, в которых не должен. Например, если вы тщательно подберёте случайные данные, чтобы они не содержали эффекта Даннинга-Крюгера, вы всё равно обнаружите этот эффект. Причина оказывается досадно простой: эффект Даннинга-Крюгера не имеет никакого отношения к человеческой психологии.¹ Это статистический артефакт — потрясающий пример автокорреляции

Что такое автокорреляция?

Автокорреляция возникает, когда вы коррелируете переменную с самой собой. Например, если я измерю рост 10 человек, то обнаружу, что рост каждого из них отлично коррелирует с самим собой. Если это звучит как круговая логика, то так оно и есть. Автокорреляция — это статистический эквивалент утверждения 5 = 5

В такой формулировке идея автокорреляции звучит абсурдно. Ни один компетентный учёный не станет соотносить переменную с самой собой. И это справедливо для чистой автокорреляции. Но что, если переменная оказывается по обе стороны уравнения, и о ней забывают? В этом случае автокорреляцию обнаружить сложнее

Вот пример. Предположим, я работаю с двумя переменными: x и y. Я обнаружил, что эти переменные совершенно не коррелируют, как показано на левой панели рисунка 1. Пока всё хорошо

Далее я начинаю играть с данными. После некоторых манипуляций я получаю величину, которую называю z. Я сохраняю свою работу и забываю о ней. Спустя несколько месяцев мой коллега вновь обращается к моему набору данных и обнаруживает, что z сильно коррелирует с x (рис. 1, справа). Мы обнаружили что-то интересное!

На самом деле мы обнаружили автокорреляцию. Видите ли, без ведома моего коллеги я определил переменную z как сумму x + y. В результате, когда мы коррелируем z с x, мы фактически коррелируем x с самим собой. Переменная y сопутствует данным, обеспечивая статистический шум. Вот как происходит автокорреляция — забываешь, что по обе стороны корреляции находится одна и та же переменная

Рисунок 1: Создание автокорреляции. На левой панели изображены случайные величины x и y, которые не коррелируют между собой. На правой панели показано, как эта некоррелированность может быть преобразована в автокорреляцию. Мы определяем переменную z, которая сильно коррелирует с x. Проблема в том, что z — это сумма x + y. Таким образом, мы коррелируем x с самим собой. Переменная y добавляет статистический шум

Эффект Даннинга-Крюгера

Теперь, когда вы поняли, что такое автокорреляция, давайте поговорим об эффекте Даннинга-Крюгера. Как и в примере на рисунке 1, эффект Даннинга-Крюгера является автокорреляцией. Но вместо того, чтобы скрываться в переименованной переменной, автокорреляция Даннинга-Крюгера прячется под обманчивым графиком²

Давайте посмотрим

В 1999 году Даннинг и Крюгер сообщили о результатах простого эксперимента. Они попросили группу людей пройти тест на проверку навыков. (На самом деле, Даннинг и Крюгер провели несколько тестов, но это не имеет значения для моего обсуждения). Затем они попросили каждого человека оценить собственные способности. Даннинг и Крюгер (как им казалось) обнаружили, что люди, которые плохо справились с тестом, также были склонны переоценивать свои способности. Это и есть «эффект Даннинга-Крюгера»

Даннинг и Крюгер визуализировали свои результаты, как показано на рисунке 2. Это простая диаграмма, которая обращает внимание на разницу между двумя кривыми. По горизонтальной оси Даннинг и Крюгер распределили людей по четырем группам (квартилям) в соответствии с их результатами тестов. На диаграмме две линии демонстрируют результаты внутри каждой группы. Серая линия — средние результаты людей по тесту навыков. Чёрная линия — их среднее «восприятие собственных способностей». Очевидно, что люди, получившие низкие баллы по тесту навыков, слишком самоуверенны в оценке своих способностей (или так кажется)

Рисунок 2: Диаграмма Даннинга-Крюгера. Из работы Даннинга и Крюгера (1999). На этом рисунке показано, как Даннинг и Крюгер сообщили о своих первоначальных результатах. Они провели тест на определение навыков, а также попросили каждого оценить свои способности. Затем распределили людей по четырем группам в соответствии с их рейтинговыми оценками по тесту. На этом рисунке показан контраст между средним процентилем «фактического тестового балла» в каждой группе (серая линия) и средним процентилем «оценки собственных способностей». Эффект Даннинга-Крюгера — это разница между двумя кривыми, то есть тот факт, что люди, не обладающие навыками, переоценивают свои способности

Сам по себе график Даннинга-Крюгера кажется убедительным. Добавьте к этому тот факт, что Даннинг и Крюгер — прекрасные авторы, и вы получите рецепт хитовой статьи. В связи с этим я рекомендую вам прочитать их статью, потому что она напоминает нам о том, что хорошая риторика — это не то же самое, что хорошая наука.

Деконструкция Даннинга-Крюгера

Теперь, когда вы увидели диаграмму Даннинга-Крюгера, давайте покажем, как она скрывает автокорреляцию. Чтобы всё было понятно, я буду комментировать графики по ходу дела

Начнём с горизонтальной оси. В диаграмме Даннинга-Крюгера горизонтальная ось является «категориальной», то есть показывает «категории», а не числовые значения. Конечно, нет ничего плохого в том, чтобы выделять категории. Но в данном случае категории на самом деле являются числовыми показателями. Даннинг и Крюгер берут результаты тестов людей и распределяют их по 4 ранжированным группам. В статистике эти группы называются «квартилями»

Это ранжирование означает, что по горизонтальной оси откладывается тестовый балл. Назовем этот балл x

Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера. На диаграмме Даннинга-Крюгера горизонтальная ось обозначает «фактический тестовый балл», который я назову x

Далее посмотрим на вертикальную ось, которая обозначена как «процентиль». Это означает, что вместо того, чтобы откладывать реальные результаты теста, Даннинг и Крюгер откладывают их рейтинг по 100-балльной шкале³

Теперь давайте посмотрим на кривые. Линия с надписью «фактический тестовый балл» показывает средний перцентиль тестового балла каждого квартиля (язык заплетается, я понимаю). Всё вроде бы хорошо, но до тех пор, пока мы не поймём, что Даннинг и Крюгер, по сути, строят график тестового балла (x) против него самого⁴. Заметив этот факт, давайте изменим обозначение серой линии. По сути, это график x против x

Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера. На диаграмме Даннинга-Крюгера линия, обозначенная как «фактический результат теста», показывает результат теста (x) по отношению к самому себе. В моей системе обозначений это x против x

Двигаясь дальше, давайте посмотрим на график, обозначенный как «восприятие собственных способностей». Эта линия показывает средний процент самооценки каждой группы. Назовём эту самооценку y. Вспомнив, что мы обозначили «фактический результат теста» как x, мы увидим, что чёрная линия показывает отношение y к x

Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера. На диаграмме Даннинга-Крюгера линия, обозначенная как «восприятие собственных способностей», строит график «воспринимаемых способностей» y против реального тестового балла x

Пока что ничего не бросается в глаза как явная ошибка. Да, это немного странно — строить график x против x. Но Даннинг и Крюгер не утверждают, что важна только эта линия. Важна разница между двумя линиями («восприятия собственных способностей» и «реальных результатов теста»). Именно в этой разнице и проявляется автокорреляция

В математических терминах «разница» означает «вычесть». Поэтому, показывая нам две расходящиеся линии, Даннинг и Крюгер (неявно) просят нас вычесть одну из другой: возьмите «восприятие собственных способностей» и вычтите «фактический тестовый балл». В моей системе обозначений это соответствует y — x

Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера. Чтобы интерпретировать график Даннинга-Крюгера, мы (неявно) смотрим на разницу между двумя кривыми. Это соответствует тому, чтобы взять «восприятие собственных способностей» и вычесть из него «фактический тестовый балл». В моей системе обозначений эта разница равна y — x (обозначена двунаправленной стрелкой). Когда мы оцениваем эту разницу как функцию горизонтальной оси, мы неявно сравниваем y — x с x. Поскольку x находится по обе стороны сравнения, результатом будет автокорреляция

Вычитание y — x кажется нормальным, пока мы не поймём, что должны интерпретировать эту разницу как функцию горизонтальной оси. Но по горизонтальной оси откладывается тестовый балл x. Поэтому нас (неявно) просят сравнить y — x с x:

(y — x) ∼ x

Видите, в чём проблема? Мы сравниваем x с отрицательной версией самого себя. Это хрестоматийная автокорреляция. Это значит, что мы можем подставлять вместо x и y случайные числа — числа, которые не могут содержать эффект Даннинга-Крюгера — и всё равно эффект проявится

Воспроизведение Даннинга-Крюгера

Честно говоря, меня не особо убеждают приведённые выше аналитические аргументы. Только используя реальные данные я могу понять проблему с эффектом Даннинга-Крюгера. Так что давайте посмотрим на реальные числа

Предположим, что мы — психологи, получившие большой грант на воспроизведение эксперимента Даннинга-Крюгера. Мы набираем 1000 человек, проводим с каждым из них тест на определение навыков и просим их дать оценку своих способностей. Получив результаты, мы смотрим на данные

Они выглядят не очень хорошо

Если мы сравним результаты теста с самооценкой, данные будут выглядеть совершенно случайными. На рисунке 7 показано это распределение. Похоже, что люди вне зависимости от навыков одинаково плохо оценивают свои способности. Здесь нет и намёка на эффект Даннинга-Крюгера

Рисунок 7: Неудачная репликация. На этом рисунке показаны результаты мысленного эксперимента, в котором мы пытаемся воспроизвести эффект Даннинга-Крюгера. Мы попросили 1000 человек пройти тест на определение навыков и оценить свои способности. Здесь представлены исходные данные. Каждая точка представляет собой результат отдельного человека: по горизонтали — «фактический результат теста», по вертикали — «самооценка». Здесь нет и намёка на эффект Даннинга-Крюгера

Посмотрев на исходные данные, мы забеспокоились, что сделали что-то не так. Множество других исследователей воспроизвело эффект Даннинга-Крюгера. Неужели мы допустили ошибку в нашем эксперименте?

К сожалению, мы не можем собрать больше данных (у нас закончились деньги). Но мы можем поиграться с анализом. Коллега предлагает вместо построения графика исходных данных вычислить «ошибку самооценки» каждого человека. Эта ошибка — разница между самооценкой человека и его тестовым баллом. Возможно, эта ошибка оценки связана с реальным результатом теста?

Мы проводим расчёты и, к нашему изумлению, обнаруживаем огромный эффект. Результаты — на рисунке 8. Похоже, что неквалифицированные люди чрезвычайно самоуверенны, а квалифицированные — чрезмерно скромны

(Наши лаборанты отмечают, что корреляция удивительно чёткая, как будто числа подбирались вручную. Но мы игнорируем это замечание и продолжаем работать дальше)

Рисунок 8: Может быть, эксперимент был успешным? Используя исходные данные с рисунка 7, мы рассчитали «ошибку самооценки» — разницу между самооценкой человека и его реальными тестовыми баллами. Эта ошибка оценки (вертикальная ось) сильно коррелирует с фактическим результатом теста (горизонтальная ось)

Воодушевленные успехом на рисунке 8, мы решаем, что результаты, возможно, не так уж и плохи. Поэтому мы бросаем данные в диаграмму Даннинга-Крюгера, чтобы посмотреть, что получится. Мы обнаруживаем, что, несмотря на наши опасения по поводу данных, эффект Даннинга-Крюгера присутствовал всегда. На самом деле, как показывает рисунок 9, наш эффект даже больше, чем на исходной диаграмме с рисунка 2

Рисунок 9: Вос Даннинга и Крюгера. Несмотря на кажущееся отсутствие эффекта в наших исходных данных (рисунок 7), когда мы подставляем эти данные в диаграмму Даннинга-Крюгера, мы обнаруживаем явный эффект. Неквалифицированные люди переоценивают свои способности, а опытные — слишком скромны

Всё рушится

Довольные успешным воспроизведением эксперимента, мы начинаем записывать результаты. И тут всё рушится. Хранитель наших данных, испытывая чувство вины, всё же сознаётся: он потерял данные нашего эксперимента и в приступе паники заменил их случайными числами. Наши результаты, признаётся он, основаны на статистическом шуме

Опустошённые, мы возвращаемся к нашим данным, чтобы понять, что пошло не так. Если мы работали со случайными числами, то как мы могли воспроизвести эффект Даннинга-Крюгера? Чтобы понять, что произошло, отбросим притворство, что мы работаем с психологическими данными. Мы перемаркируем наши графики абстрактными переменными x и y. Сделав это, мы обнаруживаем, что наш «эффект» на самом деле является автокорреляцией

На рисунке 10 это показано наглядно. Наш набор данных состоит из статистического шума — двух случайных переменных x и y, которые совершенно не связаны между собой (диаграмма A). Когда мы рассчитывали «ошибку самооценки», мы взяли разницу между y и x. Неудивительно, что эта разница коррелирует с x (диаграмма B). Всё дело в том, что x автокоррелирует с самим собой. Наконец, мы разбираем диаграмму Даннинга-Крюгера и понимаем, что она тоже основана на автокорреляции (диаграмма C). Она просит нас интерпретировать разницу между y и x как функцию от x. Это автокорреляция из диаграммы B, обёрнутая в более обманчивую обёртку

Рисунок 10: Отказ от психологических притязаний. Этот рисунок повторяет анализ, показанный на рисунках 7—9, но отбрасывает претензию на то, что мы имеем дело с психологией человека. Мы работаем со случайными переменными x и y, взятыми из равномерного распределения. На диаграмме A показано, что переменные совершенно не коррелируют между собой. На диаграмме B показано, что когда мы строим график y — x против x, мы получаем сильную корреляцию. Но это потому, что мы скоррелировали x с самим собой. На панели C мы вводим эти переменные в диаграмму Даннинга-Крюгера. И снова кажущийся эффект является автокорреляцией — интерпретацией y — x как функции от x

Смысл этой истории в том, чтобы проиллюстрировать, что эффект Даннинга-Крюгера не имеет ничего общего с человеческой психологией. Это статистический артефакт — пример автокорреляции, скрывающейся на виду

Интересно то, сколько времени потребовалось исследователям, чтобы обнаружить ошибку в анализе Даннинга и Крюгера. Даннинг и Крюгер опубликовали свои результаты в 1999 году. Но ошибку не замечали вплоть до 2016 года. Насколько мне известно, Эдвард Нюфер и его коллеги были первыми, кто исчерпывающе развенчал эффект Даннинга-Крюгера (см. их совместные работы, опубликованные в 2016 и 2017 годах). В 2020 году Жиль Жиньяк и Марцин Заенковски опубликовали аналогичную критику

После прочтения этих критических статей становится до боли очевидно, что эффект Даннинга-Крюгера — всего лишь статистический артефакт. Но до сих пор мало кто знает об этом факте. В три критические статьи в сумме имеют примерно в 90 раз меньше цитирований, чем оригинальная статья Даннинга-Крюгера⁵. Поэтому есть подозрение, что большинство учёных по-прежнему считают, что эффект Даннинга-Крюгера — это устойчивый аспект человеческой психологии

Никаких признаков Даннинга-Крюгера

Проблема с диаграммой Даннинга-Крюгера заключается в том, что она нарушает фундаментальный принцип статистики. Если вы собираетесь соотнести два набора данных, они должны быть собраны независимо друг от друга. В диаграмме Даннинга-Крюгера этот принцип нарушается. Диаграмма помещает результаты тестов на обе оси, что приводит к автокорреляции

Осознав эту ошибку, Эдвард Нюфер и его коллеги задались интересным вопросом: что произойдёт с эффектом Даннинга-Крюгера, если измерить его статистически достоверным способом? Согласно полученным Нюфером данным, ответ заключается в том, что эффект исчезает.

На рисунке 11 показаны их результаты. Здесь важно то, что «навык» людей измеряется независимо от результатов их тестов и самооценки. Чтобы измерить «навыки», Нюфер группирует людей по уровню их образования, показанному по горизонтальной оси. По вертикальной оси откладывается расхождение с самооценкой людей. Каждая точка представляет собой отдельного человека

Рисунок 11: Статистически достоверный тест на эффект Даннинга-Крюгера. На этом рисунке показан тест эффекта Даннинга-Крюгера, проведённый Нюфером и его коллегами в 2017 году. Как и на рисунке 8, на этой диаграмме отображается соотношение навыков людей и их ошибки в самооценке. Но, в отличие от рисунка 8, здесь переменные статистически независимы. По горизонтальной оси навык измеряется с помощью академического ранга. Вертикальная ось измеряет ошибку самооценки следующим образом. Нухфер берёт баллы человека по тесту SLCI (science literacy concept inventory test) и вычитает их из его самооценки, которая называется KSSLCI (knowledge survey of the SLCI test). Каждая чёрная точка обозначает ошибку в самооценке человека. Зелёным цветом указаны средние значения в каждой группе с соответствующим доверительным интервалом. Тот факт, что зелёные линии перекрывают линию нулевого эффекта, указывает на то, что внутри каждой группы средние значения статистически не отличаются от 0. Другими словами, нет никаких признаков эффекта Даннинга-Крюгера

Если бы эффект Даннинга-Крюгера присутствовал, он проявился бы на рисунке 11 в виде тенденции к снижению данных (аналогично тенденции на рисунке 7). Такая тенденция свидетельствовала бы о том, что неквалифицированные люди действительно переоценивают свои способности, и что эта «самоуверенность» уменьшается с ростом квалификации. Если посмотреть на рисунок 11, то здесь нет и намёка на тенденцию. Вместо этого средняя ошибка в оценке (обозначенная зелёным цветом) колеблется около нуля. Другими словами, погрешность оценки тривиально мала

Несмотря на отсутствие эффекта Даннинга-Крюгера, на рисунке 11 прослеживается интересная закономерность. Если двигаться слева направо, то разброс ошибок в самооценке имеет тенденцию к уменьшению с ростом уровня образования. Другими словами, профессора в целом лучше оценивают свои способности, чем первокурсники. Это вполне логично. Заметьте, однако, что это увеличение точности отличается от эффекта Даннинга-Крюгера, который заключается в систематической предвзятости средней оценки. В данных Нюфера такой предвзятости не наблюдается

Неквалифицированные и несведущие

Ошибки случаются. Поэтому мы не можем обвинять Даннинга и Крюгера в том, что они ошиблись. Однако, в обстоятельствах их ошибки есть восхитительная ирония. Вот два профессора Лиги плюща⁷ утверждают, что неквалифицированные люди несут «двойное бремя»: неквалифицированные люди не просто «некомпетентны», но и не осознают своей некомпетентности

Ирония заключается в том, что на самом деле ситуация обратная. В своей основополагающей работе Даннинг и Крюгер именно транслируют свою (статистическую) некомпетентность, путая автокорреляцию с психологическим эффектом. В этом свете название работы, возможно, всё ещё уместно. Просто авторы (а не испытуемые) были «некомпетентны и не знали об этом»

Примечания:

  1. Эффект Даннинга-Крюгера ничего не говорит нам о людях, которых он якобы измеряет. Но он говорит нам о психологии социологов, которые, очевидно, испытывают трудности со статистикой
  2. Кажется очевидным, что Даннинг и Крюгер не хотели никого обманывать. Вместо этого, похоже, они обманули себя (и многих других). В этой связи мне стыдно признаться, что я прочитал статью Даннинга и Крюгера несколько лет назад и не заметил ничего плохого. Только после прочтения статьи Джонатана Джерри я понял, в чём дело. Это немного неловко, ведь одной из главных тем этого блога было то, что я указывал на то, как экономисты апеллируют к автокорреляции при проверке своих теорий стоимости. (Примеры здесь, здесь, здесь, здесь и здесь). Я утешаюсь тем, что многие учёные тоже были одурачены таблицей Даннинга-Крюгера ︎п︎одобным образом
  3. Преобразование в процентили вносит вторую погрешность (в дополнение к проблеме автокорреляции). По определению, перцентили имеют дно (0) и потолок (100) и равномерно распределены между этими границами. Если вы находитесь близко к полу, то занизить свой ранг невозможно. Поэтому «некомпетентные» будут выглядеть слишком самоуверенными. А если вы находитесь близко к потолку, то переоценить свой ранг невозможно. Поэтому «опытные» будут казаться слишком скромными. Подробнее см. в работе Нюфера (2016)
  4. С технической точки зрения, Даннинг и Крюгер строят график двух различных форм ранжирования друг против друга — «процентиль» тестового балла против «квартиля» тестового балла. Что не очевидно, так это то, что этот тип графика является *независимым от данных*. По определению, каждый квартиль содержит 25 перцентилей, среднее значение которых соответствует медиане квартиля. Следствием этой банальности является то, что график «фактического тестового балла» ничего не говорит нам (как это ни парадоксально) о фактических тестовых баллах людей
  5. По данным Google scholar, три критические статьи (Nuhfer 2016, 2017 и Gignac and Zajenkowski 2020) имеют 88 цитирований в совокупности. Для сравнения, Даннинг и Крюгер (1999) имеют 7893 цитирования
  6. Медленное распространение «разоблачений» — распространённая проблема в науке. Даже когда оригинальные (ошибочные) статьи опровергаются, они часто продолжают собирать цитирования. Кроме того, критические статьи редко публикуются в том же журнале, в котором была опубликована оригинальная статья. Так что небезупречная статья в *Nature*, скорее всего, будет развенчана в более малоизвестном журнале. Эта асимметрия отчасти объясняет, почему я пишу здесь об эффекте Даннинга-Крюгера. Я думаю, что критика, поднятая Нюфером и др. (Жиньяком и Заенковски), заслуживает широкой известности
  7. Когда Даннинг и Крюгер опубликовали свою работу 1999 года, они оба работали в Корнельском университете

Дополнительная литература:

Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, 101449.

Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121.

Nuhfer, E., Cogan, C., Fleisher, S., Gaze, E., & Wirth, K. (2016). Random number simulations reveal how random noise affects the measurements and graphical portrayals of self-assessed competency. Numeracy: Advancing Education in Quantitative Literacy, 9(1).

Nuhfer, E., Fleisher, S., Cogan, C., Wirth, K., & Gaze, E. (2017). How random noise and a graphical convention subverted behavioral scientists’ explanations of self-assessment data: Numeracy underlies better alternatives. Numeracy: Advancing Education in Quantitative Literacy, 10(1).

Измерение неравенства: что такое коэффициент Джини?

Коэффициент Джини является наиболее распространённым показателем неравенства. Но что он на самом деле измеряет? И чем он отличается от других показателей неравенства?

Коэффициент Джини, или индекс Джини, является наиболее распространённым показателем неравенства. Он был разработан итальянским статистиком Коррадо Джини (1884—1965 гг.) и назван в его честь

Обычно он используется для измерения неравенства доходов, но также может применяться для измерения неравенства любого распределения — распределения богатства или даже ожидаемой продолжительности жизни

Неравенство измеряется по шкале от 0 до 1, где более высокие значения указывают на более высокий уровень неравенства. Иногда этот показатель может быть представлен в процентах от 0 до 100%, тогда он называется «индексом Джини»

Значение 0 означает полное равенство, когда все имеют одинаковый доход. Значение 1 означает полное неравенство, когда один человек получает весь доход, а все остальные — ничего

Как рассчитывается коэффициент Джини?

Существует два основных способа расчёта коэффициента Джини. Оба приводят к одним и тем же значениям, но дают нам два представления о том, что именно измеряет коэффициент

Метод 1: Расчёт разницы между доходами двух человек по отношению к среднему значению

Первый метод можно проиллюстрировать следующим мысленным экспериментом

Представьте двух людей, случайно столкнувшихся на улице. Они сравнивают свои доходы и выясняют, насколько один из них богаче другого. Насколько большую разницу можно ожидать?

Этот ожидаемый разрыв между двумя случайно выбранными людьми и измеряется коэффициентом Джини. Он рассчитывается как среднее значение разрыва между всеми парами людей в населении

Если доходы распределены равномерно, то можно ожидать небольшой разрыв между доходами двух случайно выбранных людей. Там, где высокий уровень неравенства, мы можем ожидать большой разрыв

Однако, если измерять этот показатель в абсолютном выражении, он также будет зависеть от богатства населения в целом. Если даже самые обеспеченные представители населения имеют низкий доход, то абсолютный разрыв между доходами людей будет маленьким. И наоборот — там, где доходы в целом высоки, даже небольшая относительная разница (напрмер, в %) будет означать большой разрыв в абсолютных показателях

По этой причине коэффициент Джини учитывает также средний доход среди населения

В частности, он рассчитывается как ожидаемый разрыв в пределах удвоенного среднего дохода. Для простоты представим, что всё население состоит из тех двух человек, встретившихся на улице. Если их общий доход составляет 100 $, то средний по населению будет 50 $. Если доход первого составляет 100 $, а второго — 0 $, разница в доходах будет равна 100 $, что как раз в два раза больше среднего уровня дохода

Таким образом, наибольшее возможное значение среднего разрыва, то есть удвоенный средний доход — ситуация абсолютного неравенства. Все доходы принадлежат одному человеку, а остальные вовсе не имеют дохода — коэффициент Джини равен 1

Наименьшее возможное значение среднего разрыва, то есть 0 — ситуация абсолютного равенства. Доходы всех людей равны — коэффициент Джини равен 0

Метод 2: Разрыв между «кривой Лоренца» и «линией идеального равенства»

Слева указана доля дохода, получаемая каждой пятой частью гипотетического населения. Справа — суммарные доходы всех групп населения. Получившийся справа график называется «кривой Лоренца»

Для населения, среди которого доходы распределены абсолютно равномерно, «кривая Лоренца» будет представлять собой прямую диагональную линию: 10% самых бедных будут получать 10% от общего дохода, 20% — 20% от общего дохода и т. д. Это показано на графике как «линия равенства»

Но среди населения, представленного на нашей диаграмме, доходы распределяются неравномерно. 60% населения с наименьшим доходом получает 30% от общего дохода

Коэффициент Джини показывает, насколько «кривая Лоренца» отклоняется от «линии равенства», сравнивая площади A и B на картинке. Отклонение рассчитывается следующим образом:

коэффициент Джини = A ÷ (A + B)

Если доходы распределяются абсолютно равномерно, «кривая Лоренца» будет совпадать с «линией равенства». Площадь A, как и коэффициент Джини, будет равна 0. Если один человек получает все доходы, а остальные не имеют никакого, «кривая Лоренца» совпадает с осью X — общие доходы будут сконцентрированы в конце графика. Площадь B будет равна нулю, а коэффициент Джини — 1

Сравнение показателей: Рассказывает ли показатель Джини ту же историю, что и другие показатели неравенства?

Показатели неравенства пытаются обобщить информацию о том, насколько распределение неравномерно — точно так же, как стандартное отклонение. В таких суммарных показателях заложены суждения о том, что именно должно иметь наибольшее значение при измерении неравенства

Для примера сравним два выдуманных общества. В первом богатые люди намного богаче тех, кто находится в середине распределения, но доходы более бедных лишь немного ниже тех, что получают в середине. Во втором — обратная ситуация: доходы богатых лишь немного выше доходов средних, но бедные намного беднее

В каком обществе выше неравенство? Ответ будет зависеть от того, какие разрывы в разных частях распределения считать вносящими наибольший вклад в уровень неравенства. Такие оценочные суждения неявно заложены в математические определения показателя неравенства

Это относится ко всем показателям неравенства, и коэффициент Джини не является исключением. Но его отличает более высокая чувствительность к изменениям в середине распределения, чем в самом верху и внизу

Особенности коэффициента Джини можно рассмотреть на примере четырёх стран. На диаграммах показано, как он соотносится с двумя другими показателями неравенства — долями дохода 1% и 10% самого богатого населения. Для наглядности приведена динамика с течением времени. По вертикали — разница в % относительно показателей 1900 года

Мы видим, что существенное изменение доли доходов 1% самых богатых сопровождается незначительным изменением коэффициента Джини. Это справедливо как для стран с растущим уровнем неравенства (США), так и для стран, где уровень неравенства снижается (Уругвай)

В то же время, коэффициент Джини гораздо точнее отслеживает долю доходов самых богатых 10%. Коэффициент Джини не чувствителен к изменениям только в самой верхней части распределения

Источник — Our World in Data

Число бесплатных и платных пользователей Дуолинго и поисковый интерес к сервису, 2021—2023

Слева — квартальный показатель ежедневных активных пользователей по всему миру, справа — число платных подписчиков. Снизу — поисковый интерес по запросу «duolingo» в США, где 100 — максимальное значение

Chartr

Тиражи ежедневных газет и число сотрудников газетных издательств в США + структура выручки The New York Times

На первой картинке слева — тиражи будничных (голубой) и воскресных (фиолетовый) выпусков всех газет в США с 1940 по 2020 год. Чёрный график справа — число сотрудников в газетных издательствах с 2000 по 2022 год

На втором изображении — годовые выручки издательства The New York Times с 2010 по 2022 год с разбивкой на:
— подписки на электронную версию (фиолетовый)
— подписки на печатную версию (зелёный)
— рекламу (синий)
— другое (серый)

Справа — 10 крупнейших издательств и платформ по числу платных подписчиков. Данные опираются на отчёты самих организаций, поэтому актуальны по состоянию с 2021 по 2023 год в зависимости от СМИ

Уровень шумового загрязнения и потери слуха в 50 городах мира, 2017

С возрастом люди постепенно теряют слух, но внешние факторы могут ускорить этот процесс. В исследовании Mimi аналитики рассчитали, насколько быстрее может начать ухудшаться слух людей из-за шумового загрязнения в крупных городах. Показатель потери слуха они выразили в годах и оценках от 0 до 1. Например, в Мюнхене из-за городского шума слух людей может быть на 12 лет старше реального возраста (оценка 0,17), а в Дели слух людей может ухудшиться на 20 лет раньше (оценка 1)

На диаграммах степень потери слуха обозначена длиной полосок, а размером спиралей — уровень шумового загрязнения. Второй показатель также выражен от 0 до 1. Круг в основании — сумма этих двух показателей. Красный цвет означает, что метрики выше среднего по миру, синий — ниже

Federica Fragapane

Статистика ментального здоровья в мире

На диаграммах и картах:
— Оценочное число людей, страдающих различными психическими заболеваниями, 2019
— Число психиатров на 100 тысяч человек, 2017
— Доля респондентов, сообщавших об эпиходах тревожного расстройства или депрессии на протяжении жизни, 2020
— Оценочное число людей, страдавших шизофренией за последний год, 2019
— Оценочное число людей с тревожным расстройством и подушевой ВВП в странах мира, 2019
— Соотношение оценочного числа людей с депрессивным расстройством среди мужчин и женщин в странах мира, 2019
— Соотношение оценочного числа людей с тревожным расстройством среди мужчин и женщин в странах мира, 2019
— Соотношение оценочного числа людей с шизофренией среди мужчин и женщин в странах мира, 2019
— Соотношение оценочного числа людей с биполярным расстройством среди мужчин и женщин в странах мира, 2019
— Соотношение оценочного числа людей с расстройством пищевого поведения среди мужчин и женщин в странах мира, 2019

Все оценочные данные основаны на результатах репрезентативных опросов, медицинских данных и статистическом моделировании

Остальные карты и диаграммы — в источнике

Our World in Data

Статистика изучения и покорения космоса человеком

На диаграммах:
— ежегодное число запущенных в космос объектов, 1957—2022
— общее число запущенных в космос объектов, 1957—2022
— количество полезного груза и корпусов ракет на разных орбитах, 1958—2022 (не учитываются обломки от запусков или столкновений)
— ежегодное число полётов человека в космос, 1961—2021
— общее число полётов человека в космос, 1961—2021
— общее число людей, летавших в космос, 1961—2021
— стоимость отправки 1 кг груза на низкую околоземную орбиту в зависимости от объёма груза, 1961—2021 (с поправкой на инфляцию)
— число обнаруженных околоземных астероидов разного размера, 1900—2022
— число обнаруженных экзопланет с разбивкой на методы, 1992—2022
— ежегодные бюджеты НАСА с поправкой на инфляцию, 1959—2022

Our World in Data

Куда Россия экспортировала нефть по морю, 28 января 2022 — 13 января 2023

Чёрный — Азия, розовый — Северная Европа, серый — Южная Европа, голубой — страны Средиземноморья, жёлтый — другие страны, бирюзовый — неизвестно

Необходимо учитывать, что указаны объёмы экспорта только при помощи танкеров

На второй диаграмме — выручка России от экспорта нефти в миллиардах $ с января по ноябрь 2022 года

Bloomberg

Как менялась стоимость контейнерных перевозок в мире и на 6 ключевых маршрутах, ... Рациональные числа Как менялась стоимость контейнерных перевозок в мире, 2017—2023

Freightos Baltic Index (FBX) — один из наиболее широко используемых индексов фрахтовых ставок. Аналитики Балтийской биржи и компании Freightos ежедневно изучают мировые ставки контейнерных перевозок на 12 мировых торговых линиях. Индекс выступает в качестве косвенного показателя для акций судоходства

На графике указаны медианные цены на перевозку 40-футового контейнера без охлаждения от порта до порта. По состоянию на 23 июня 2023 года стоимость составляла 1297$, что являлось самым низким показателем с 18 октября 2019 года (1237$)

Freightos Data

Рождаемость в Китае после начала применения и отмены закона «Одна семья — один ребёнок», 1980—2022

Закон «Одна семья — один ребёнок» был введён в Китае в 1979 году для контроля численности населения. В 2015 году был отменён из-за демографических и экономических причин, а также недовольства населения

Рождаемость на графике выражена в количестве новорождённых на 1000 человек в год

Chartr

Как менялся мировой рекорд по самому быстрому решению кубика Рубика 3×3×3, 2003—2023

16 июня 2023 года Макс Парк побил предыдущий рекорд, решив кубик Рубика за 3,13 секунды. Предыдущий рекорд был установлен китайцем Юшенгом Ду в 2018 году, которому для решения понадобилось 3,47 секунды

Chartr

Динамика количества успешных восхождений на Эверест, 1953—2022

29 мая 1953 года участники девятой британской альпинистской экспедиции первыми покорили высочайшую точку Земли. А теперь может случиться так, что вы будете стоять в очереди к вершине

Спад числа восхождений в 2015 был вызван крупной лавиной, а в 2020 причиной стали локдауны в связи с пандемией коронавируса. Пик случился в 2019 — 877 успешных восхождений

Chartr

Всеобщий географический и статистический карманный атлас 1908 года

В атласе показан многогранный срез мира и особенно Европы через призму разноплановых данных. Есть диаграммы с социальной, демографической, экономической, культурной, военной и культурной статистикой

Полный скан справочника в формате PDF. Выше самые интересные диаграммы и карты, остальное тут

Оди

Число заявлений о банкротстве корпораций в США, 2010—2023

Под корпорациями понимаются организации с активами/пассивами на сумму 2+ млн $ с государственным долгом или на сумму 10+ млн $ без госдолга

Синие шкалы на первой диаграмме — число банкротств с января по май каждого года, голубые шкалы — банкротства в остаток года. На второй диаграмме — ежемесячное число банкротств за последние 3,5 года

Chartr

Число носителей крупных языков мира, 2023

В качестве крупных были выбраны языки с 50 и более миллионами носителей, для которых этот язык первый. Цветами обозначены языковые семьи, диагональным текстом — языковая группа. Под названием каждого языка указано число носителей в миллионах

Kristin Blain

Ранее Ctrl + ↓