andrey_ab разобрал дельта-метод для ratio-метрик в АБ-тестах

Автор andrey_ab опубликовал в издании Точка Банк первую часть серии «Сага о Дельта-методе» о том, как оценивать ratio-метрики в АБ-тестах. На примере среднего чека материал показывает, что t-test предполагает независимость наблюдений, а один клиент может совершить несколько покупок. Из-за этого обычный тест завышает ошибку первого рода и находит эффект там, где его нет.

В статье разобраны эффект, дисперсия, p-value и доверительный интервал, а также дельта-линеаризация, CUPED и связь с OLS с кластерными ошибками. Метрику можно сравнивать через привычный поюзерный тест.