AB遇到的问题-学习效应

目录

学习效应 (Learning Effect)

什么是学习效应

学习效应在实践中有哪些表现形式？

学习效应该如何检测？

一种方法是表征实验组的指标随着时间（以天为单位）的变化情况

第二种方法是只比较实验组和对照组中的新用户

---

学习效应 (Learning Effect)

什么是学习效应

我们计划利用A/B测试考察显著的差异性效果，在实施新的交互设计时例如更换网站或产品的用户界面及功能模块时需要注意的一点是旧版界面及功能模块的老用户通常会很快适应之前的交互设计而新设计则会带来一定的认知负荷这使得新界面的推广效果可能不如预期

通常情况下，在学习适应阶段时，资深用户的某些行为表现会与其日常表现有所差异，这种现象即为学习效应的表现。

学习效应在实践中有哪些表现形式？

根据不同的改变，老用户在学习适应期的反应也不同，一般分为两种。

第一种是积极反馈，也被称为新奇效应（Novelty Effect），即老用户对于变化项表现出强烈的探索欲望。

例如将按钮的颜色从先前的冷色调转变为浓烈而引人注目的深红色，在短期内这可能会影响诸如点击率、转化率等关键指标的表现；然而经过适应期后这些关键指标的表现可能会恢复至之前的状态。

第二种属于消极反应的一种，并通常被称为改变厌恶（Change Aversion）。它指的是老用户在面对变化时往往感到困惑，并且可能会产生抵触心理。

例如你在常去的电商平台（网站）中发现，在旧版界面中'加入购物车'按钮位于屏幕左上方；然而随着交互设计优化，在新版界面中这一功能被安置于屏幕右下角的位置。使用过程中发现这一变化确实让操作略显不便：当你希望重新找回这个按钮时需要花费一些时间在屏幕上寻找；甚至花了一段时间找不到才会因感到沮丧而关闭了页面。这种操作上的不便可能会导致短期内的操作效率有所下降

这些在学习适应期出现的不同类型的反应通常表现为短暂现象，在长期观察中这些短暂现象最终也会逐渐消退。

需要注意的是, 这些短期学习效果可能会对 A/B 测试的结果造成干扰, 并导致结果出现显著偏差

学习效应该如何检测？

在实践中，主要有两种方法可以用来检测学习效应。

在实践中我们可采用下列手段来检测学习效应然而要彻底消除学习效应的影响并获得可靠的实验数据不得不延长测试周期直至实验组的学习影响降至最低之后才进行对比分析

一种方法是表征实验组的指标随着时间（以天为单位）的变化情况

在没有学习效应的情况下，实验组的指标随着时间的变化是相对稳定的。

然而，在存在学习效应的情况下（即一种具有局限性的现象），由于学习效应仅限于短期内，并非永久性特征，在长期观察中这种影响会逐渐减弱。其指标将经历一个随时间逐渐演变的过程，并最终趋于稳定状态

• 如果存在新奇效应，则实验组的表现可能会从初期快速上升到后期逐渐下降
• 如果存在改变厌恶，则实验组的表现可能会从初期快速下降到后期逐渐上升

比如我们平台会有每天的折线图和对比图的

在应用此方法时需注意：随着时间和时间表征下实验组指标的变化而变化。并非让你每天对实验组与对照组进行观察。若持续进行这样的观察，则会遇到之前提到的多重检验问题。只有在达到样本量之后才能对两者的大小进行分析和测试结果对比。

第二种方法是只比较实验组和对照组中的新用户

学习效应源于老用户的适应性需求，在实验阶段尚未接触过平台的新用户群体中，并不存在因适应新环境而产生的学习效应这一问题。因此，在分析数据时应特别关注首次参与实验操作的新型用户群体，并分别对这些新用户的各项指标进行评估与观察研究

如果我们在对比新用户的样本时未观察到显著的效果（在样本量充足的条件下），但在包括所有用户的总体样本分析中发现了显著的趋势，则可以推断这种变化不会对新用户产生影响……但对于老用户而言却存在显著差异……这可能源于学习效应的影响