Расчет погрешности NPS, часть 1

Расчет погрешности NPS и ответ «критикам» метода. Часть 1

Статья написана для тех, кто натыкался в интернете на “анализ” методики NPS и сравнение ее с другими методами исследования.

Как правило, такие статьи имеют негативную окраску по по отношению к Net Promoter Score и строятся по одному шаблону.

Первая пртензия к NPS — большая ошибка или высокая погрешность. Давайте разбираться.

Приведу цитату из одной такой статьи:
Высокий доверительный интервал (ошибка
измерений) приводит к тому, что оценки NPS не
могут корректно сравниваться Когда мы посчитали средний доверительный интервал для индекса удовлетворенности, он оказался +/- 2,6 балла. При сравнимой
выборке для индекса NPS ошибка измерений
составила +/- 10 пунктов. Причина этого в том,
что при расчете индекса NPS часть информации
выкидывается (нейтралы не учитываются в расчетах), а шкала переводится в двухбалльную (да/
нет или проценты). А в этом случае индекс NPS в
12,5 на самом деле может принимать истинные
значения в интервале от 2,5 до 22,5

В статье (как и во многих других об NPS) приведена математическая ошибка, показывающая полное незнание статистики.
Вот к ней-то и обратимся на примере нашего последнего исследования NPS сетевой пиццерии.
В процессе исследования получено 805 ответа. Такое количество респондентов уже обеспечивает точность и понимание соотношения сторонников и противников компании.

Однако мы должны противопоставить точную математику досужим вымыслам любителей многостраничных анкет.
Итак, примем за “NPS” значение индекса, рассчитанного по формуле (P-D)/T, где
P-промоутеры
D-детракторы
T- всего респондентов
Так же учитываем как N количество нейтралов из опроса.

Дисперсия исследования считается по формуле Var (NPS)= ((1 – NPS) ^ 2) * P/T + ((0 — NPS) ^ 2) * N/T + ((-1 — NPS) ^ 2) * D/T

Погрешность (E) измерения вычисляется как корень из дисперсии Var (NPS), деленный на корень из количества ответов.
Для реальных значений 617- промоутеры, 145-нейтралы и 71-детракторы: Дисперсия Var (NPS) = 0,396; E= КОРЕНЬ(0.369)/КОРЕНЬ(805)= 2,2%

Т.е. при матожидании NPS=66%, его реальные значения с вероятностью 95% находятся в пределах от 63.8% до 68.2%

В указанной формуле погрешности измерения индекса учитываются нейтралы, поэтому говорить о том, что исключение нейтралов как-то повышает погрешность индекса совершенно бессмысленно.

Если погрешность индекса превышает 7%, то это говорит о невысоком качестве организации самого исследования, т.е. либо о недостаточности, либо о перекосе выборки. В первом случае надо продолжать исследования до набора необходимого количества респондентов каждого типа, и проверить, не опрашиваете ли вы только противников, или только нейтральных потребителей.

Кроме того, не все в методе NPS определяется статистикой: если у вас только 10 клиентов и вы опросите их, то вы получите настоящий индекс NPS для своей компании, хотя с математической точки зрения это будет не так.

Дело в том, что суть метода определения истинной лояльности заключается в том, что вы отрабатываете личным контактом каждый отрицательный или нейтральный ответ и получаете от этих контактов ценнейшую информацию для развития своего бизнеса.

Кстати, авторы подобных “критических” статей утверждают, что респонденты на вопрос “почему вы можете (или не можете) рекомендовать нашу услугу?” отвечают первое, что приходит в голову и, мягко говоря, придумывают причины.

Воспользуемся простым рассуждением “от противного” и здравым смыслом, чтобы опровергнуть подобные заявления: допустим, что это правда, и респонденты в исследованиях Net Promoter Score неискренни настолько, что это не позволяет выявлять значимые закономерности, полезные для бизнеса. Т.к. исследования NPS методологически ничем не отличаются от прочих видов исследований, в которых разные (иногда менее понятные) вопросы людьми задаются людям, то можно сделать вывод, что результаты любого социологического исследования строятся на одномоментно придуманных ответах. Т.е. любые виды исследований не несут статистически значимой информации. Таким образом, сами критики метода NPS говорят о том, что и другие методы исследования непригодны для практического использования.

Этот вывод очевидно не соответствует действительности, поэтому приписывать методу NPS роль собирателя баек пользователей некорректно.

Как раз наоборот: вопрос “насколько вы удовлетворены характеристикой Х товара У?” менее показателен, чем эмоционально окрашенный за счет умозрительного принятия личной ответственности перед знакомыми ответ на вопрос “какова вероятность вашей рекомендации товара Z?”, после которого вспоминается самое плохое или хорошее, связанное с этим товаром — то, что и перевешивает отрицательные или положительные характеристики.

Часть 2