Главная проблема в индустрии визуализации данных

Растущее качество графики в современной визуализации данных всё чаще скрывает сомнительные подходы работы с данными, неправильное понимание природы данных, а иногда и грубые математические ошибки.

Бывает, смотришь на историю и сразу веришь показанному, потому что история выглядит уверенно. Видно, что люди плотно поработали. Хочется доверять. Но…

С данными всегда есть проблемы: они многомерные, неоднородные, из разных источников. Они то полные, то неполные. Иногда кажется, что их много, а их мало. И наоборот. Их надо собирать, дополнять, искать в них порядок. Надо решать, как показывать историю. Надо решать, какую именно историю вообще стоит показывать и зачем.

Наименее вероятны проблемы с визуализацией в следующих ситуациях:

— Отображаемый процесс — установившийся. Например, доля бракованного товара в производстве.
— Процесс находится в прошлом, распределения известны. Результаты спортивных состязаний. Состоявшиеся продажи автомобилей по маркам и моделям.
— Распределение данных находится в классе гауссовых. Например, вес и рост людей.

Но всё усложняется, если система — открытая, нелинейная и многомерная (распределение богатства), если распределение процесса степенное, с толстым хвостом (эпидемии и войны), если в деле замешано прогнозирование (результаты будущих выборов).

Такие ситуации требуют критического мышления, логики, математики, понимания свойств. «Визуализировать» недостаточно. Увы, в реальном мире именно такие ситуации как раз наиболее интересны.

Часто в убедительной с виду истории можно найти провал в самом главном. В основном сообщении, в сути. Хочу разобрать пару примеров на эту тему.

В качестве первого примера — статья «Миф о криминальных иммигрантах»,

о связи между нелегальной иммиграцией и преступностью в США.

* * *

https://www.themarshallproject.org/2018/03/30/the-myth-of-the-criminal-immigrant

В статье автор делает вывод, вроде бы основанный на данных. Если копнуть глубже, выясняется, что статья говорит совсем о другом.

О чем говорит статья? Разберем по шагам.

Начинаем прямо с хэдера страницы:
Do immigrants lead to crime? A recent study says no. «Приводит ли иммиграция к преступности? Недавнее исследование говорит, что нет.»

Давайте посмотрим, о чем на самом деле говорит исследование.

Количество иммигрантов (в процентах 2016 г относительно 1980) увеличилось. Уровень преступности (тяжкие) за те же годы уменьшился.

Сходу бросается в глаза небольшое количество точек измерения. Меряли десятилетиями. Тут всего по 4 точки на график на огромный диапазон времени. Это мало для такого масштабного процесса. Просто технически, еще до того как пролистаем страницу ниже.

Непонятно, как собирались данные. Накапливались по 10 лет, или это точечные данные. Если накапливались, почему не показать промежуточные? Автор ссылается на исследование, доступное на платной основе:

https://tandfonline.com/doi/full/10.1080/15377938.2016.1261057?needAccess=true

Как я понимаю парный график: «смотрите, иммигрантов всё больше, а преступности становится меньше». Типа, корреляция.

Но тут проблема: обе переменные многофакторные и нелинейные, значит для выявления корреляции (если она вообще может быть) нужно гораздо больше данных, чтобы подтвердить гипотезу на исторических данных. Супер-мало данных!

Следующий сомнительный момент: статья критикует Трампа на тему «Стены» и нелегальной иммиграции (бандитов, буквально). Но статья разбирает просто иммиграцию, без выделения нелегальной. Не ясно, какая доля преступлений на правом графике совершена именно нелегальными иммигрантами.

Да и более того, справа вообще нет речи об иммигрантах, это общее количество тяжких преступлений.

Трамп в 2018 качал тему именно нелегальной иммиграции: https://twitter.com/realDonaldTrump/status/1086091478168993792

In 2018 alone, 20,000 illegal aliens with criminal records were apprehended trying to cross the Border, and there was a 122% increase in fentanyl being smuggled between ports of entry.

Из того, что снижается некий коэффициент преступности, не следует, что иммигранты совершают меньше преступлений. Технически автор статьи жонглирует множествами иммигрантов вообще, и нелегальных, совершивших тяжкие преступления.

Внизу стоит ссылка на данные ФБР. Но само ФБР предупреждает, что не стоит полагаться только на данные, и приводит список множества факторов, которые нужно учитывать. Только в этом списке 13 пунктов: https://ucr.fbi.gov/ucr-statistics-their-proper-use

В принципе, уже достаточно причин, чтобы забыть про статью:
множества не бьются, многофакторность не учитывается, корреляция ложная, никакой связи между исходными данными и выводами не показано. Но ниже тоже есть интересные моменты )

* * *

Изменение уровней преступности, 1986-2016 годы:

Мозг сразу рисует какую-то такую картинку. Но не торопитесь с выводами )

На графике куча проблем.
Слишком высокий уровень шума данных, чтобы нарисовать себе такой тренд.
Не видно абсолютных значений: в городах разная численность населения.
Графический ход вызывает вопросы: кружочки наслаиваются друг на друга, не видно что под ними.

Хорошо, что кружочки сделаны в векторе в СВГ. Ищем в инспекторе, гасим обводки и цвет, включаем альфу:

И тренд уже не такой явный, и по-прежнему не видно абсолютной численности.

Похожая штука про наслоение кружочков:
http://cashin.ru/blog/all/vizualizaciya-dannyh-na-yandeks-karte/

Ниже — графики по городам, но снова не показана связь между наборами данных. Что показывают, фактически: иммигрантов становится больше, а тяжких преступлений — меньше, и одно не связано с другим.

Данные разорваны больше, чем кажется. Не связаны атрибуты времени и места: преступления не обязательно совершаются сразу по прибытию и в том же месте, где зарегистрирован иммигрант. Ну и ни слова про нелегальных.

К многофакторности добавляется и то, что преступления не только совершаются, их еще и предотвращают. Это еще целая пачка процессов. В большинстве городов стали регистрировать меньше преступлений: лучше борются? Хуже регистрируют? Эти факторы не упоминаются.

Важно, какие города попали в выборку и по какому принципу эта выборка составлялась. В городах ситуация с преступностью может отличаться от пригородов. Городская полиция работает в высокой плотности, на более коротких расстояниях, с новыми техническими средствами, автоматизированным наблюдением и поиском. Такое быстрее внедряется в крупных городах. А на графике мы видим относительно мало мелких городов. Выборка вызывает вопросы.

Если все иммигранты реально оказались классными, графика этого не показывает.

One of the largest decreases in crime occured in MIAMI, where immigration increased:

График слева: «В Майами стало больше иммигрантов».
График справа: «В Майами совершается меньше тяжких преступлений».

Вообще-то, Майами одно из самых богатых мест в США. Полиция в самом богатом регионе поработала успешно? Причин может быть масса. И это ничего не говорит ни о доле участия иммигрантов в общем количестве преступлений, ни о доле нелегальных среди них.

В конце автор утверждает, что данное исследование показало, что иммиграция не приводит к увеличению преступности:

This is not the only study showing that immigration does not increase crime.

Но статья не показала связи между этими двумя явлениями.

Поделиться
Отправить
Запинить
Популярное