Текст основан на исследовании проекта Priceonomics, который анализировал данные своего клиента Datafiniti, который ведет базу данных товаров и отзывов на них.

Чтобы получить ответ на вопрос в заголовке, исследователи собрали 100 тысяч обзоров на тысячи разных товаров, а чтобы быть уверенными, что эти данные так сказать «стандартизированы», специально брались только те отзывы, которые имели текст и рейтинг (обычно это рейтинг в звездах, который показывает на положительный или негативный опыт). Анализируя собранную информацию, авторы оценивали три аспекта:
1. Длина отзыва,
2. Орфографические ошибки,
3. Грамматические ошибки.

Исследование показало, что негативные отзывы чаще имеют опечатки или орфографические ошибки и их авторы часто неправильно используют апострофы. Эти отзывы, как правило, длинные и включают в себя подробную информацию о товары и опыте его использования. Положительные отзывы с пятью звездами обычно короткие и без знаков пунктуации. Тест показал, что значительная часть авторов отзывов совершают много ошибок, как орфографических, так и грамматических. Только 61% отзывов успешно прошли все проверки.

Длина отзывов

Негативные рецензии в большинстве своем длинные и имеют больше ошибок, чем комментарии с положительным опытом.

Распределение отзывов по звездам
доля отзывов по каждой звездей

Отсюда видно, что абсолютное большинство проанализированных комментариев имеют высокий рейтинг — пять звезд. Понимание этого поможет правильно посмотреть на общую тенденцию и сделать некоторые сравнения, когда мы доберемся до конкретных деталей.

Теперь оценим длину отзывов. Эта зона наиболее разнообразна в собранных данных. Ряд обзоров на товары имеют очень короткие комментарии или даже суперкороткие (одно слово), тогда как другие могут спокойно соответствовать стандартам школьных эссе, как например отзыв с Amazon из 1028 слов на фильм «Темный рыцарь» 2008 года.

Чтобы можно было легче визуализировать отзывы по их длине, авторы исследования разделили их на три группы: до 25 слов включительно, до ста слов включительно и более ста.

Какой длины отзыв?
доля отзывов по каждому типу длины на основе количества слов

Как можно заметить, большинство рецензий попадают в категорию «до 25 слов включительно». Сложно сказать, насколько полезны короткие комментарии. При этом стоит отметить, что супер короткие отзывы (в одно слово) занимают примерно 1% из общего числа проанализированных обзоров.

Распределение длины отзывов по звездам

Отзывы с пятью звездами имеют большую долю коротких комментариев, тогда как отзывы с одной звездой, наоборот, содержат больше длинных обзоров. Тут виден явный тренд, что негативные отзывы длиннее. Это достаточно логично. При негативном опыте есть что-то, что пошло не так, например, товар мог быть доставлен уже сломанным, или он работал не должным образом, или просто плохого качества. С другой стороны, если товар работает должным образом, и пользователь доволен, то нет ничего, что заставило бы его писать длинный отзыв.

Орфографические ошибки

Следующим пунктом анализа стала орфография. При использовании проверки авторы исследования отмечали все опечатки, которые содержались в отзывах. Перед тем как анализировать ошибки и категории комментариев, стоит посмотреть на общую картину с орфографией.

Орфографические ошибки
доля отзывов с орфографическими ошибками

Оказывается, авторы рецензий не так уж плохи в орфографии — большинство (72%) отзывов вовсе не имеют ошибок. Доля ошибок постепенно снижается до 5% в обзорах, где есть три и более ошибок.

Теперь перейдем к уже знакомому анализу — картину с ошибками по категориям звезд.

Распределение отзывов с ошибками по звездам

Здесь прослеживается тенденция, когда негативные отзывы имеют большую долю комментариев с ошибками. Можно предположить, что это связано с длинной отзывов, так как негативные отзывы зачастую длиннее. Чем длиннее отзыв, тем больше возможностей сделать опечатку или ошибку.

Чтобы дополнительно скорректировать этот анализ, авторы рассмотрели понятие среднего количества ошибок.

Как часто совершаются орфографические ошибки
доля написанных с ошибками слов

Данные в таблице демонстрируют, что в положительных отзывах (четыре и пять звезд) реже всего встречаются ошибки. В отзывах с пятью звездами ошибки встречаются в 1,6% словах, тогда как в отзывах с одной звездой — в 2%. Разница между ними на самом деле ниже, чем в нашем предыдущем анализе. На самом деле, мы тут видим другой тренд — чаще ошибки встречаются в отзывах с тремя звездами — примерно в одном слове из 45 (2,2%).

Грамматические ошибки

Последняя категория этой проверки — грамматика. Здесь исследователи сосредоточились на правильном использовании апострофов и пунктуации.

Чтобы понять, что авторы рецензий правильно используют пунктуацию, был сделан специальный признак для сокращений, который показывал правильно используется апостроф или нет. Так, исследователи могли понять, написано «cant» или «can’t».

График ниже показывает долю авторов отзывов, которые сделали по крайней мере одну связанную с апострофом ошибку в распределении по рейтингу звезд. В конкретно этом случае были проанализированы только те комментарии, которые вообще имели апострофы (правильно или неправильно использованные), таких было около 14% от общего числа. Отзывы без этого символа в исследования включены не были вообще.

Используются ли апострофы правильно?
доля отзывов с отсутствующим апострофом по звездам

И снова можно заметить, что отзывы с пятью звездами имеют самый низкий коэффициент ошибок — 18%, тогда как в отзывах с одной звездой доля ошибок уже 20%. Но на самом деле самый высокий показатель по ошибкам с апострофами в отзывах с четырьмя звездами (29%).

Последний тест, связанный с пунктуацией, проверил, ставят ли авторы рецензий знаки препинания в конце предложения. Хотя предложения без какого-то окончания встречаются в интернете достаточно часто, это все-таки считается грамматической ошибкой.

Отзывы без знаков препинания в конце предложений

В комментариях с пятью звездами больше всего отсутствуют знаки в конце предложений, хотя разница с отзывами на три и четыре звезды не очень большая. Можно предположить, что это связано с длиной отзыва — авторы отзывов с одним или двумя словами реже ставят какой-то знак в конце своего комментария. Это показывает, что, хотя положительные отзывы имеют меньше орфографических ошибок, в них есть некоторое несоответствие требованиям письма.

Исследование продемонстрировало, что отзывы с пятью звездами имеют меньше всего орфографических ошибок, но в них больше грамматических ошибок — отсутствие знаков препинания в конце предложения. Отзывы с четырьмя звездами имеют больше ошибок с апострофом. В отзывах с одной звездой, наоборот, больше орфографических ошибок. Длина рецензии может быть фактором, который влияет на тип ошибок в положительных и негативных отзывах.