NPS vs. CLI: надо ли усложнять исследование лояльности?

NPSvsCLI alhorum

Надо ли усложнять измерение лояльности?

Измерение лояльности не должно быть сложным ни для компании, ни для клиентов.

Цель статьи – показать, что методик измерение лояльности одним вопросом более дешевая, но такая же эффективная, как и методики с несколькими вопросами.

Краткий вывод для тех, кто пока выбирает метрику лояльности для своей компании: выбирайте NPS. CLI не дает никакой дополнительной информации, но отбирает дополнительные деньги и время.

Иногда компании пытаются в одном вопросе совместить определение лояльности и удовлетворенности клиентов какими-либо процессами в компании (совет: не надо этого делать. Сначала – лояльность, потом, на основе контекстного анализа ответов на открытые вопросы – удовлетворенность).

В результате этого пользователям приходится отвечать на много вопросов – от 6 (и это еще неплохо) до 40 (реальная анкета одного немецкого автопроизводителя).

Надо ли сейчас так усложнять жизнь ваших клиентов? Сейчас, когда мы все привыкли к быстрому получению ответов, обслуживанию, удовлетворению во всех смыслах и быстрому перемещению от одной компании к другой?

Мы докажем, с блэкджеком с корреляциями и регрессиями, что достаточно двух вопросов, чтобы понять, что компания должна делать для получения дополнительных денег от лояльных клиентов.

Итак, сначала разберемся с определениями.

Потребительская лояльность, лояльность к бренду — приверженность покупателей к торговой марке, мотивированная прочно укоренившейся привычкой покупать одно и то же изделие, товар или пользоваться одной и той же услугой, a также невосприимчивость к цене товара, отвержение альтернативы, готовность прощать мелкие недочеты и готовность в соответствующей ситуации делиться положительным опытом с другими (на основе  https://ru.wikipedia.org/wiki/Лояльность).

Лояльность потребителей свидетельствует о том, что потребитель, вероятнее всего, будет и дальше покупать те же или другие виды продукции у данной организации (ГОСТ Р 54732-2011/ISO/TS 10004:2010).

Удовлетворенность потребителя: Восприятие потребителем степени выполнения его требований (ГОСТ Р ИСО 10001-2009).

Самое главное, что нужно уложить в голове: лояльность и удовлетворенность – это про разное.

Для формирования лояльности удовлетворенность является условием необходимым, но недостаточным. У. является понятием техническим, рациональным, а Л. – категория эмоциональная и иногда иррациональная.

Удовлетворенность разными факторами товара или услуги – это драйверы лояльности. И для определения этих драйверов сначала нужно исследовать лояльность.

Методики оценки лояльности

На сегодняшний день существуют разные методики определения лояльности, самая простая по механике, но не по сути – NPS (Net promoter score – индекс чистой лояльности). Также популярна модель исследований CLI (Customer Loyalty Index – индекс лояльности клиентов), которую называют «расширением» NPS. Мы покажем, что это ни в коей мере не расширение NPS и, более того, не только ненужное усложнение процедуры, но и потеря существенной для бизнеса информации.

Сравнение CLI и NPS

Напомним, как строится опрос по обеим методикам.

При опросе NPS задается два-три вопроса: Вопрос №1: какова вероятность того, что Вы порекомендуете наш продукт своим друзьям или знакомым? Ответ дается по шкале от 0 (0%) до 10 (100%). Вопрос №2: почему вы поставили такую оценку? и вопрос №3 (опционально): что наша компания должна сделать, чтобы оценка стала выше?

При опросе CLI задается 4 вопроса, ответы на которые даются по шкале от 0 (0%) до 10 (100%)

  1. Вопрос совпадает с вопросом методики NPS: Какова вероятность того, что Вы порекомендуете наш продукт своим друзьям или знакомым?
  2. Какова вероятность продолжения использования услуг/товаров нашей компании?
  3. Какова вероятность покупки дополнительных услуг у нашей компании?
  4. Какова вероятность перехода на услуги другого оператора?
  5. Иногда задается вопрос: Какова вероятность выбора нашей компании, если бы вы выбирали в первый раз?

Индекс CLI считается как среднее по всем вопросам. И вот тут кроется первая неточность методики – ответы на вопрос о переходе к конкурентам считаются в неизменном виде вместе с остальными, а ведь значение индекса CLI обратно пропорционально значению ответа на этот вопрос!

В некоторых методиках CLI предлагают использовать обратную (!) 6-значную шкалу, т.е. 1 – это наивысшая оценка 100%, 6 – самая низкая, 0%. Это может вводить в заблуждение отвечающего и искажать результаты исследования.

И первое, что необходимо отметить – CLI НЕ ЯВЛЯЕТСЯ расширением NPS. Первые вопросы в обеих методиках лишь определяют вероятность рекомендации, и в методике NPS происходит сегментация клиентов и вычисление индекса, а в CLI берется только среднее.

Второе важное замечание – в CLI не задается открытого вопроса, ответы на который содержат ключевую информацию о драйверах лояльности.

Вот пример контекстного анализа ответов на открытый вопрос – наиболее часто встречающиеся слова указывают на требующие внимания аспекты бизнеса и являются драйверами лояльности:

Да, можно добавить после первого вопроса в CLI открытый вопрос – и увеличить общее количество вопросов до 5, что неудобно для отвечающего.

 

Сравнение индексов NPS и CLI

Вот пример из нашего исследования лояльности клиентов сотовых операторов. В случае одной компании такая картина может сложиться относительно разных продуктов или услуг, регионов или офисов.

NPS_CLI_Alhorum

Видно, что оба индекса показывают почти одинаковую картину с одним существенным отличием: индекс CLI может быть только  положительным, а отрицательный индекс NPS в большей степени показывает разрыв показателей лояльности между операторами.

На наш взгляд, индекс NPS более информативен, чем простое среднее по ответам – NPS показывает превышение количества сторонников над критиками, и хорошее значение индекса начинается с 30%. А в индексе CLI не видно соотношение хороших и не очень оценок, и все положительные значения могут ошибочно навести на мысль, что и аутсайдеров все более-менее в порядке. Другими словами, NPS имеет бОльший размах значений и бОльшую наглядность.

Диаграмма соотношения типов NPS и значений индекса CLI также показывает совпадение этих индексов по смыслу (данные из двух независимых исследований:

 

У сторонников (промоутеров) в методике NPS значение CLI больше, чем у нейтралов и критиков (детракторов), т.е. зависимость между этими параметрами прямо пропорциональная.

Дополнительные вопросы в CLI

Может быть, ответы на дополнительные вопросы дают ценную информацию, которую нельзя получить из двух вопросов о вероятности рекомендации и причинах такой оценки? Проверим.

 

Сначала посмотрим, как коррелируют между собой ответы на все вопросы и два индекса по двум независимым исследованиям в двух разных областях – сотовая связь и страхование (анализ проводится по итоговым значениям):

Сотовая связь:

Страхование:

NPS_CLI_Alhorum

Мы видим, что корреляция индекса NPS с ответами на дополнительные вопросы очень высокая – больше 0,8. Это значит, что ответы на дополнительные вопросы полностью зависят от ответа относительно возможности рекомендации, и наоборот – вероятность рекомендации зависит от других ответов. Поэтому задавать дополнительные вопросы после «рекомендации» попросту не имеет смысла.

Более того, корреляция между NPS и CLI равна или приближается к 1 – т.е. эти индексы показывают одно и то же, и CLI никак нельзя назвать «расширением NPS».

Регрессионный анализ

Для строгости рассуждений стоит отметить, что регрессионный анализ (РА) в данном случае проводить не предполагается, т.к. исследуемые величины зависимы друг от друга. Однако, если предположить, что NPS зависит от ответов на дополнительные вопросы о продолжении и расширении сотрудничества, и от вероятности перехода к конкурентам, то ради исследовательского интереса такой анализ стоит провести.

Мы не будем погружаться в теоретические основы РА и приведет только итоговые коэффициенты.

Сотовые операторы:

Коэффициенты Bi
R2 1
Y-пересечение -318.3375877
Переменная X 1: Вероятность продолжения сотрудничества 30.03598859
Переменная X 2: Вероятность покупки дополнительных услуг 10.792636
Переменная X 3: Вероятность перехода к конкуренту 10.63208659

 

Итоговое уравнение: NPS = -318.3 + X1*30.0 + X2*10.8 + X3*10.6 Показатель R2 = 1 показывает высокую достоверность построенной модели.

 

Страхование:

  Коэффициенты
R2 1
Y-пересечение -231.9956954
Переменная X 1: Вероятность покупки дополнительных услуг 61.36571631
Переменная X 2: Вероятность перехода к конкуренту 6.476863174
Переменная X 3: Вероятность продолжения сотрудничества 4.082700476

 

NPS = -231.99 + X1*61.3 + X2*6.47 + X3*4.08

После регрессионного анализа мы можем сделать два важных вывода:

  1. Наибольшее влияние на индекс NPS оказывает намерение продолжение сотрудничества в виде явного указания или в виде возможности дополнительных покупок.
  2. Дополнительные вопросы не раскрывают все причины, от которых зависит лояльность, т.к. первый коэффициент не равен 0 – это показывает, что в данной формуле не учтены все переменные – т.е. факторы, влияющие на лояльность.

Второй вывод нас возвращает к главному отличию методики NPS от CLI: во втором вопросе NPS мы прямо спрашиваем пользователей, что для них важно, что их беспокоит и что может повлиять на их отношения с компанией. В ответе мы можем найти те драйверы лояльности, которые надо изучать отдельно с помощью методики CSI.

 

Выводы:

  1. Методика CLI Customer Loyalty Index – индекс лояльности клиентов) не является расширением NPS (Net promoter score – индекс чистой лояльности)
  2. Если вы измеряете NPS или CLI – вы измеряете одно и то же.
  3. CLI более затратная методика по финансовым и человеческим ресурсам, чем NPS
  4. Если вы измеряете CLI по обычной методике, то вы не получаете информацию о драйверах лояльности в виде ответов на открытый вопрос
  5. Если вы добавляете открытый вопрос, то пользователю приходится отвечать уже минимум на 5 вопросов против двух у NPS
  6. Погрешность индекса CLI может быть выше погрешности NPS, т.к. суммируются погрешности всех 4 вопросов.
  7. Наглядность индекса CLI ниже, чем у NPS
  8. Методика CLI не дает дополнительных к NPS факторов, позволяющих прогнозировать поведение пользователей.

 

Психологические наблюдения.

В качестве обоснования точности исследований по методике NPS и того, что она хорошо прогнозирует поведение пользователей (ответы на дополнительные вопросы) приведем два аргумента:

  1. В отличие от любых других вопросов, ответ о вероятности рекомендации затрагивает личную ответственность. Перед ответом наш мозг мгновенно оценивает как опыт взаимодействия с компанией, так и последствия рекомендации некачественного товара своим знакомым. Это очевидно, т.к. если знакомый воспользуется рекомендацией, и получит отрицательный опыт, это будет вспоминаться при случае и без.
  2. Мы не можем предсказывать будущее, поэтому задавать вопросы о планах не рационально – мы не знаем, какое предложение поступит от конкурентов и понадобятся ли нам дополнительные услуги. И эти вопросы не затрагивают личную ответственность и, следовательно, относительная ценность ответов на них невелика.

О том, что люди хотят общаться с компаниями, мы доказательно показали в статье … — ответы на открытые вопросы развернутые и содержат важную информацию для развития бизнеса.

Наши исследования: