Давно назрел вопрос, как оценить вклад внешнего сервиса в продажи на сайте. Предположим, что у нас есть сайт, который продает какой-либо товар. Я решил поставить любой сервис, будь то, Crossss с товарными рекомендациями, или же сервис онлайн чата, либо еще что-то. Все эти сервисы заявляют, что влияют на мой оборот. То есть, согласно логике, я начну зарабатывать больше.

Как же мне понять, есть польза от этих сервисов или нет? Стандартно предлагается решение на основе АБ тестирования, в котором мы сравниваем сайт с решением и без него и замеряем скажем оборот. Предполагая, что в данный момент на продажи влияет только сервис.

Однако продажа это более сложный процесс, и система у меня по определению не замкнута. Специалисты по АБ тестам говорят, что внешние вклады равномерно распределятся по сравниваемым сегментам и ими можно пренебречь, но вопрос о том, какой вклад дает сервис остается открытым.

Давайте рассмотрим цепочку продаж. У нас 2 сегмента, продажи распределяются поровну. В итоге по результатам теста, мы видим, что сервис дал дополнительно 10% прироста продаж.

Теперь давайте рассмотрим механику работы сервиса, далее будем говорить о рекомендациях (так как они мне ближе). Механика рекомендаций такова, что пользователь перед тем как купить по рекомендации должен кликнуть в нее. Во время клика мы вешаем UTM метку, или еще каким либо образом помечаем пользователя. В итоге в системах аналитики мы видим, что есть продажи среди тех, кто кликнул. По идее, объем продаж среди кликнутых пользователей должен совпадать с разницей в АБ тесте. Но за все время тестирований это не произошло ни разу.

Во-первых они просто не совпадали, во-вторых, я не считают, что вклад рекомендательной машины заключается в том, что пользователь кликнул в рекомендацию и купил. Рассмотрим случай. Пользователь пришел с яндекс.директа. За сам факт перехода, пользователь заплатил яндексу. Далее он приземляется на страницу (обычно это страница товара). Строго говоря этот пользователь как минимум теплый, он пришел по конкретному запросу и цели (собственно пользователи пришедшие с этого канала имеют конверсию выше, чем базовый канал на сайте). После этого, пользователь, по какой-либо причине (и вовсе не из-за рекомендательного сервиса) решил пройтись по магазину — посещает еще скажем 2 товара. На последнем товаре, он принимает решение вернуться за тем, ради чего он пришел и видит на карточке товара — тот первый товар, в виде рекомендации (это ведь разумно его показать, пользователь его посещал же). Пользователь переходит по рекомендации и покупает.

Возникает вопрос, а кто причастен к этой продаже. Строго говоря все, и яндекс.директ, который привел пользователя, и рекомендационный сервис, который сыграл в роли навигации. С другой стороны, вклад в продажи рекомендационного сервиса не очевиден, нет ни какой гарантии, что этот пользователь не вернулся бы самостоятельно и не купил бы.

Для себя мы решили такие продажи в свой зачет не ставить и не учитывать. А теперь, если вернуться к АБ тесту, становиться понятно, что разница в АБ тесте и вклад рекомендационной машины и не должны совпадать. Вопрос, как измерить вклад рекомендаций в продажи?

Приведу еще один пример, почему не подходит АБ тест. Первый месяц теста — запустили и сравниваем продажи, разница сегментов 10%. Второй месяц, мы уже не делаем АБ тест, но внесли новую РК, которая стала приводить более горячие лиды на карточку товара, и по этому каналу конверсия резко выросла, люди приходят и сразу покупают без дополнительных действий. Какой вклад будет от рекомендаций?

Жду ваших мнений.