当我刚开始作为初级软件开发人员的职业生涯时,我和我的团队的任务是优化德国一家知名网站的入门流程。我们进行了大量的 A/B 测试,以确定如何提高入职流程的完成率,并鼓励用户在平台上更加活跃。
一开始,我真的很喜欢 A/B 测试。如果您不熟悉 A/B 测试,这个概念非常简单:您提出一个改善现有用户体验的想法,然后将您的用户分为两组(或更多组)。一组(A 组)获得原始体验,另一组(B 组)获得新版本。您运行测试直到有足够的用户参与,然后分析结果。例如,如果 B 组的入职完成率比 A 组高 15%,您可能会认为新版本更好,并向所有用户推出该版本。
当你仔细想想,这是有道理的。您根据数据做出决策,并且由于您只对一半用户进行测试,因此您承担的风险较小。如果测试期间出现问题,您可以暂缓向所有人推出新体验。产品经理和团队领导还可以通过展示他们对改进产品的贡献来衡量他们的绩效。这对每个人来说都是双赢的。即使后来情况恶化,您也可以随时说:“但是我们进行了 A/B 测试,并没有看到任何下降”,因此您不会受到任何负面结果的影响。
但随着我获得更多经验并进行更多 A/B 测试,我开始意识到一些事情。过度依赖数字和测试可能会导致您忽视全局——整体用户体验。重点不是解决真正的用户问题,而是优化指标和追逐数字。体验的质量退居次位,决策更多地由数据驱动,而不是了解产品如何真正为用户服务。
实体化
如果您不熟悉“Enshittification”一词,请参阅维基百科的定义:
Enshittification,也称为崩溃和平台衰退,是一个术语,用于描述在线产品和服务质量随着时间的推移而下降的模式。最初,供应商创造高质量的产品来吸引用户,然后他们降低这些产品的质量以更好地服务商业客户,最后降低他们对用户和商业客户的服务以实现股东利润最大化。
让我举个例子。 Spotify 最初是一家音乐流媒体服务。随着时间的推移,他们在该平台上添加了播客和有声读物。最初使用 Spotify 只是为了听音乐的用户开始注意到该应用程序变得越来越难以导航。他们不断接触播客或有声读物推荐,并且随着用户界面变得混乱,寻找音乐变得更加困难。
当然,就像许多其他科技公司一样,Spotify 也进行 A/B 测试。这里的问题是,当做出这些改变时,Spotify 可能会衡量用户参与度等指标——人们在应用程序上花费了多少时间以及他们采取了多少操作。当然,如果你让用户更难找到他们的音乐,他们可能会花更多的时间来搜索。因此,这些变化背后的团队可以轻松地声称主屏幕的重新设计以及播客和有声读物的引入不会对参与度产生负面影响。事实上,即使找到你想要的音乐变得更加困难,你仍然会听。这些更改已向所有用户推出,但它们没有衡量挫败感或整体用户体验等内容。由于一些用户喜欢播客和有声读物,因此团队可以展示积极的成果并声称取得了成功。结果,他们中的一些人可能得到晋升并转移到其他项目。
我亲眼目睹了我所开发的产品的类似变化。例如,我开发了一款帮助用户跟踪包裹(例如已发货、待发货等)的产品。该应用程序没有实时跟踪功能,您可以通过该功能在地图上实时查看包裹。但增长团队决定调整通知副本,并在消息中包含“实时跟踪”。他们进行了 A/B 测试,发现应用程序打开次数有所增加(这是一个很大的惊喜)。他们还检查了这是否导致启用通知的用户数量下降。当他们看到通知数量没有减少时,他们将其视为更改成功的标志,而没有考虑到人们仍然想知道他们的包裹在哪里,即使实时跟踪功能实际上并不存在。他们使用 A/B 测试来增加数量,而不考虑长期后果。一些团队成员可能得到晋升,用户因缺乏实时跟踪而感到沮丧,整体体验恶化。
A/B 测试如何建立信心
当我第一次意识到团队正在做什么时,我联系了他们并分享了我的担忧。我告诉他们,他们所做的更改是错误的,会降低整体用户体验。他们不同意我的观点,并指出他们的数据,而我没有数据来支持我的直觉。然而,在内心深处,我知道这些变化会带来负面体验,并带来长期后果,而这是 A/B 测试无法捕捉到的。
一旦人们发现如何使用 A/B 测试来证明他们的决定合理,他们就会继续这样做。这就是 A/B 测试可以给那些对用户体验或设计缺乏扎实了解的人带来信心的地方。当你向他们质疑某个决定的负面影响时,他们可以简单地指出 A/B 测试的结果并消除任何担忧,声称他们没有看到任何问题。
这些人通常开始使用 A/B 测试,重点是改进指标,而不是解决实际的用户问题。例如,他们可能不会提出解决核心用户痛点的建议,而是建议更改按钮颜色之类的建议,看看它是否对点击率有影响。即使您知道这个想法有缺陷,决策者也可能会辩称,在经过测试之前您无法确定。
因此,您的整个团队最终都会进行实验和调整,这些实验和调整可能无法解决实际的用户问题,但旨在提高某些指标。最后,您可能会看到按钮点击次数略有增加,并且更改被推出。然而,用户开始抱怨应用程序的界面变得越来越难用,他们找不到曾经依赖的功能。在许多情况下,由于负责决策的人已调动到不同的团队或担任更高的职位,因此他们不会重新审视或逆转更改。或者,如果即将出现新的 A/B 测试,他们可能只是继续推进更改,而从未解决用户面临的实际问题。
借助 A/B 测试,人们可以轻松展示自己的成功,从而更轻松地在公司晋升。然而,当他们晋升到决策职位时,他们往往会继续推行相同的数据驱动方法,而不考虑更广泛的用户体验。随着时间的推移,这会导致产品的实体化——质量让位于短期指标。
相比之下,科技领域最成功的公司历来依赖于强大的设计本能、直觉和对用户需求的深刻理解,而不仅仅是数据。当我们继续开发新产品时,我们必须保持平衡——利用数据为决策提供信息,但决不能忽视全局:创造直观、以用户为中心的体验。只有优先考虑真正的质量而不是肤浅的指标,我们才能防止我们最喜欢的工具和平台落入enshitification的陷阱。
原文: https://mertbulan.com/2025/03/22/the-role-of-a-b-testing-in-entshittification/