NPS сотовых операторов

Как лукавят сотовые операторы о своих показателях лояльности. Все, кроме одного.

Операторы большой четверки — Вымпелком (торговая марка «Билайн»), Мегафон, МТС и Теле2 в своих пресс-релизах и презентациях иногда упоминают о том, что используют в оценке своей работы индекс чистой лояльности Net Promoter Score (NPS). И приводят некоторые цифры, показывающие, что с лояльностью у них все хорошо и становится все лучше и лучше. Разберемся, так ли это.

Для тех, кто хочет сразу получить данные об исследовании в графическом виде, показываем визуализацию результатов в BI-системе Tableau. На первой вкладке — числовые параметры, на второй — сравнение данных исследования с корпоративными данными, на третьей — контекстный анализ ответов на главный вопрос методики NPS.

Полное описание исследования NPS сотовых операторов Москвы.

Часть 1

Суть методики изучения лояльности по методу NPS:

Пользователю товара или услуги задают всего два вопроса: 1) с какой вероятностью от 0 до 100% вы порекомендуете наши товары или услуги своим друзьям и коллегам?” по шкале от 0 до 10 и 2) «Почему вы поставили такую оценку?»

Те, у кого вероятность рекомендации 0-6 называются детракторы (критики по-русски), 7-8 — нейтралы и 9-10 — промоутеры (сторонники). Разница между сторонниками и критиками, отнесенная к общему числу ответивших (в %) и есть индекс NPS.

В отличие от индекса удовлетворенности, индекс NPS может быть отрицательным, что показывает существенное преобладание критиков над сторонниками.

Так вот сотовые операторы показывают только положительные и растущие показатели NPS.

Для оценки точности данных операторов агентство ALHÓRUM в июне 2018 года провело инициативное независимое исследование лояльности сотовых операторов в Москве.

Было опрошено 863 пользователя сотовой связи по методике NPS. Была использована случайная выборка московских абонентов, опрос проводился по электронной почте – т.е. опрос отражает мнение интернет-активной части пользователей. Респонденты оценивали оператора по всей совокупности услуг, без разделения на отдельные направления.

Оператор Количество ответивших
Теле2 95
Мегафон 188
Билайн 279
МТС 301

UPDATE 14/07/18

Дособирали ответы по Красноярску и Санкт-Перебургу в надежде получить резкое изменение вверх по сравнению с «задолбанной» Москвой. Но нет, и там все плохо. Дашборд обновлен, можете посмотреть: Красноярск -19, Питер -2. Погрешность больше, чем в Москве, но мы проверяли только тенденцию. Так что вывод, увы, подтверждается: среди интернет-активной аудитории (а именно ее мы и проверяли, сразу обозначив в исследовании) к операторам связи очень много претензий. И от города это не сильно зависит.

Соотношение ответивших коррелирует с соотношением долей операторов на московском рынке сотовой связи:

исследование NPS alhorum сотовые операторы

Итоговый NPS по всем операторам отрицательный -9,39% и это обращающий на себя пристальное внимание результат исследования, т.к. все сотовые операторы утверждают, что их индекс NPS —  положительный.

Посмотрим на распределение ответов по операторам и по вероятностям рекомендовать оператора:

Итоговый NPS по всем операторам отрицательный -9,39% alhorum

Сразу видно большое количество критиков у операторов «большой тройки». Если провести соответствующие расчеты, то мы получим отличающиеся от официальных данные, за одним исключением:

Оператор NPS
Теле2 44.21%
Мегафон -1.60%
Билайн -24.37%
МТС -17.28%

В своих аналитических материалах сотовые операторы приводят совершенно другие результаты, кроме Теле2 – их озвучиваемый индекс лояльности совпадает с результатами исследования.

Примеры:

Билайн, отчет http://www.mforum.ru/news/article/116752.htm

исследование NPS alhorum сотовые операторы

В отчете Билайна за 2017-й год показатель NPS не фигурирует.

Более свежие данные от операторов:

Теле2 http://www.mforum.ru/news/article/118892.htm

исследование NPS alhorum сотовые операторы net promoter score

МТС http://www.mforum.ru/news/article/117738.htm

5_alhorum_nps_sotovih_operatorov

Отчетливо видно, что реальные показатели NPS значительно ниже официальных у всех операторов, кроме Tele2.

Насколько значимы отличия показателей лояльности операторов? Ответ на этот вопрос можно увидеть на диаграмме индексов NPS с учетом погрешностей измерений:

Как и любой другой вид исследований, методика NPS подчиняется законам статистики. Поэтому любое исследование содержит погрешность и она тем больше, чем меньше количество измерений (ответов). Подробнее о расчете погрешности NPS на сайте агентства https://alhorum.ru/raschet-oshibki-nps-chast-1/

6_alhorum_nps_sotovih_operatorov

Хорошо видно, что показатель лояльности у Теле2 действительно отличается в лучшую сторону от остальных операторов, и это отличие статистически значимо: интервалы погрешностей не перекрываются.

В случае Билайна и МТС можно утверждать, что их показатели лояльности находятся на одном уровне, т.к. интервалы перекрываются и, с учетом погрешности, индексы могут находиться в интервале от -19% до -22%. Что, повторимся, сильно отличается от официальных данных.

Индекс NPS Мегафона выше, чем у Билайна и МТС и это достоверное отличие.

Итак, итоговые данные исследования:

Оператор Количество ответов индекс NPS Погрешность
Теле2 95 44.21% 7.40%
Мегафон 188 -1.60% 6.04%
Билайн 279 -24.37% 5.04%
МТС 301 -17.28% 4.80%

С разбивкой по городам:

Оператор Город Количество ответов Индекс NPS  Погрешность
Билайн Санкт-Петербург 28 -17,9% 14,3%
Билайн Moscow 279 -24,4% 5,0%
Билайн Krasnoyarsk 40 0,0% 14,1%
Мегафон Санкт-Петербург 83 -7,2% 9,3%
Мегафон Moscow 188 -1,6% 6,0%
Мегафон Krasnoyarsk 29 -31,0% 17,0%
МТС Санкт-Петербург 81 -7,4% 9,2%
МТС Moscow 301 -17,3% 4,8%
МТС Krasnoyarsk 57 -38,6% 11,0%
Теле2 Санкт-Петербург 42 28,6% 12,7%
Теле2 Moscow 95 44,2% 7,4%
Теле2 Krasnoyarsk 68 -8,8% 10,1%

 

Если исключить индекс NPS компании Теле2, то общий  индекс NPS «большой тройки» будет иметь удручающие -16%.

Приведем значения NPS для некоторых зарубежных операторов связи, с учетом того, что: а) это также официальные данные, б) возможно, контроль за достоверностью этого показателя, озвучиваемого в публичном пространстве, выше и в) данные даются без указания количества опрошенных, так и без погрешностей:

Tesco Mobile 27%
Azercell 48%
T-Mobile 35%
Telecom Italia 34%
Virgin Mobile UK 7%
O2 13%

Часть 2

Однако в исследовании NPS есть не менее, если не более значимая часть: ответы на вопрос «Почему вы поставили именно такую оценку?».

Противники метода утверждают, что ответы даются просто так, чтобы отстали и они не несут значимых данных для бизнеса. Посмотрим, так ли это.

Зададимся простым вопросом: если бы мы отвечали только для того, чтобы от нас отвязались, как много мы написали бы в ответе? Пару или тройку слов, не более.

Посмотрим на статистику по длине ответов:

исследование NPS alhorum сотовые операторы

На диаграмме показан разброс длин ответов по соответствующим категориям пользователей. Мы видим, что самый длинный ответ – 890 знаков от нейтрального пользователя МТС. Приведем его полностью:

Такая оценка потому, что последнее время я недовольна работой МТС. В частности, они, не спросив меня, уже не первый раз переводят меня на ежедневную оплату вместо абонентской, это другой тариф. К дате оплаты абонентской платы у меня не было на счету достаточной суммы денег, они меня перевели, а когда я специально эту сумму положила на счёт, они продолжили списывать за каждый день; так получается намного дороже, а отключить это очень гемморойно, кажется, только через офис. Также меня недавно возмутила ситуация, когда я уезжала из Москвы в другой город, и мне также без спроса подключили услугу «на полном доверии», кажется, так называется, с кредитным лимитом в -3000руб. и баланс начал уходить в этот кредитный минус. Но мне это было совершенно не нужно, я этого не просила! Отключала тоже через офис. Вот этими двумя моментами я недовольна последнее время. Вскоре буду переходить на другого оператора.

Это похоже на ответ пользователя, данный только для того, чтобы от него отстали?

 

Самый длинный ответ критика (Билайн, 586 знаков):

1. Неоднократно меняли мой тариф самостоятельно. Сначала звонили, уговаривали перейти добровольно на якобы более выгодный тариф, но после моего отказа меняли его сами через какое-то время. 2. Пользуюсь одним и тем же номером более 17-ти лет, но зарегистрирован он на мою родственницу, которая в свое время подарила мне симкарту. Каждый раз, когда нужно поменять симку на микро/нано и т.п. еду в офис и обьясняю одно и то же, что телефон мой, а паспорт нет. Писала заявления на смену пользователя номером, проходила тесты и др. Меня проигнорировали. Так и хожу под чужим именем. Бардак.

 

Самый длинный ответ сторонника (Билайн, 286 знаков):

Пользуюсь услугами этого оператора 20 лет! Пробовала разные тарифы и именно по рекомендациям сотрудников компании. Всегда очень удачно! Больше всего мне нравится тариф постоплатный за 500 руб. Единственное что хотелось бы улучшить это перенос не использованых минут на следующий месяц.

 

Граница между прямоугольниками показывает медиану длин ответов и, как и в других наших исследованиях, мы видим, что критики компании (ее товаров и услуг) пишут больше, чем сторонники. Это важный факт, который подтверждает известное утверждение, что недовольный клиент расскажет о своем отрицательном опыте бОльшему количеству людей, чем довольный.

Тепловая карта показывает распределение средних значений ответов по операторам и типам пользователей.
alhorum nps cjm ltv

Полностью ответы на вопрос «Почему вы поставили такую оценку?» с фильтрацией по темам, операторам и типам пользователей можно посмотреть на дашборде в начале статьи, третья вкладка.

Выводы исследования:

  1. За исключением Теле2, информация об уровне лояльности, предоставляемая сотовыми операторами Москвы, не соответствует данным нашего исследования.
  2. Информация из официальных источников не содержит упоминания ни о размерах выборки, ни о методе получения данных, ни о погрешностях измерений.
  3. В целом, пользователи отрицательно оценивают работу операторов «большой тройки» Вымпелком (торговая марка «Билайн»), Мегафон, МТС
  4. Основные претензии предъявляются к качеству связи, непрозрачности тарифов и к самовольным изменениям подключенного тарифа без согласия пользователя.

 

Агентство ALHÓRUM (читается как «алхóрум»), специализируется на получении исчерпывающей информации от клиента, т.е. на «анти-коммуникациях». Мы исследуем лояльность пользователей, клиентский опыт, коммерческие данные компании и  требования покупателей к продукции и услугам. Полученную информацию мы трансформируем в конкретные стратегические и тактические шаги, приводящие к увеличению прибыли.

А без начальной информации (из опросов) вы можете потерять лояльную часть ваших клиентов и существенную часть прибыли. Обратитесь к нам, и мы сохраним вам клиентов:

Наши исследования:

О компании ALHÓRUM
ALHÓRUM – первая антикоммуникационная компания на российском рынке, представляющая независимые исследования лояльности в различных сегментах рынка: IT, банковский сектор, медицина, авиаперевозки и др. и специализирующаяся на выстраивании коммуникации ОТ клиента к бизнесу.
Alhorum специализируется на увеличении лояльности конечных пользователей и бизнес-партнеров, оказывает консультационные услуги по увеличению притока новых клиентов за счет рекомендаций и изменению бизнес-процессов с целью увеличения количества счастливых покупателей.

* Net Promoter, NPS, and Net Promoter Score are trademarks of Satmetrix Systems, Inc., Bain and Company,Inc., and Fred Reichheld.