久驰股票网-股票开户,股票基金入门知识 b转a:什么是 A/B 测试?作者:神策数据

b转a:什么是 A/B 测试?作者:神策数据

发布时间:2020-02-11 06:00   来源:网络 点击 :

下面我们用一个实际例子——教育平台的“游戏模式”,为你解读什么是 A/B 测试?又如何通过 A/B测试培养用户习惯的?

如果你体验过 Duolingo(多邻国),这个语言教育平台给你的感受可能是玩了一款游戏。来自游戏的设计模式正在有效地应用在 Duolingo 的平台中,有趣的游戏关卡设计让更多用户在快乐中坚持更久。

当然这不是巧合。Duolingo 早已敏锐地意识到了将教育游戏化的力量。增长副总裁 Gina Gotthilf 表示,无论发送给用户的是何信息——哪怕一个小红点——都会带来可贵的数据。团队要做的是对这些数据进行测试,内化每一个数字,然后根据测试结果指导自己的下一步动作。接下来将介绍了他们是如何通过 A / B 测试来培养用户的行为习惯的。

在此之前,先介绍一点背景:Duolingo 以“为全世界提供免费的教育”为使命,其 APP 可以免费下载。目前已包含 25 种语言,普通话也将列入其中,用户超过 2 亿,是下载最多的教育应用程序。目前它拥有数十亿的数据点(每个月大约会完成六十亿门课程),并且在不断迭代中。


激励用户的四种方式

对于 Duolingo 来说,最大的挑战是保持用户的动机。与其他应用一样,若想要鼓励用户并培养成一种固定行为模式,在他们身上,也就是每天完成语言课程。事实上,如果用户不能每天访问,那么他们的课程就是无效的。因为一个人学习课程本来会有些难度,况且在线学习总会带来用户分心。产品经理赞吉拉尼(Zan Gilani)介绍:MOOCs(大规模开放在线课程)具有非常低的完成率,大约仅 1-2%。为了克服这些挑战,Duolingo 以游戏的方式,从四个方式改变用户的日常习惯。

  • 细化的目标
  • 明显的进步
  • 对用户的外部触发
  • 让用户投钱

在 Duolingo,“细化的目标”是融入在 APP 中的,用户通过完成一个课程单元来解锁下一个课程单元。比如,当“健身”被你设定为目标,这个目标非常模糊,但是让你每天跑一英里是一件很容易的事情,目标实现也变得可能。


让用户“连胜”

Duolingo 将注意力集中在用户的持久性应用上。在此基础上,Duolingo 设置了一个强大的游戏机制,使之与培养用户使用习惯的形成相吻合。Duolingo 在 Snapchat(知名强关系的社交 APP)、Facebook 和 Headspace 等提醒用户应用。当用户连续使用时,即在游戏中保持连胜的情况时进行奖励。

同时,Duolingo 鼓励用户设定每日目标,如此一定程度上能约束用户每天都登录 APP。对于新用户来说,连续登录意味着要有一个目标,于是团队在账户设置中增加了目标设定功能。直到今天,公司团队还在用这一指标还衡量工作成果。“这就好像电子游戏,用户必须每天都做点儿什么才能在排行榜上屹立不倒。”




为了让用户保证持续性,Gilani 曾公开展示了一封由 Duolingo 总部发给用户的邮件,该邮件向用户解释了由于飓风欧玛(Hurricane Irma)造成的断网,并请求用户再次登录 Duolingo,以保持活跃。

A / B 测试 1:让进程“可视化”

用户一般都希望看到自己的进程,而 Duolingo 应用中并不能看到用户所持续的天数。因此,团队在页面顶部加了这样的时间显示。结果很显著:日活增长 3%,14 日留存提升1%。




A / B测试 2:强调连续的重要性

接下来,当用户完成每次课程之后都强调一下用户的“连续值”,Duolingo 用如下图的圆型展示了其课程进度。结果是日活增长 1%,14 日留存提升 3%。



A / B 测试 3:外部的触发机制

诸如电子邮件和应用程序的通知方式,极易让用户感觉到骚扰,但“目标的达成”会让用户对外部触发不会那么反感。“回到 Duolingo 来吧,”这听起来太平淡、烦人了。Duolingo 在通知中会说:"记住,你已经坚持了 24 天",而不是“打开我们的应用程序”。这种鼓励可以帮助用户维持自己的目标。”

这里值得一提的是,推送要注意时间和推送频率等等。时间抓得正确与否,直接关系到推送的成败。一天当中何时推送消息是有讲究的,这取决于你是哪种应用。”结果表明,当用户完成一门课程 23.5 小时后发送邮件,能够最大程度地刺激用户的参与度。这不足为奇,正如 Zilani 所说,每天都在同一个时间做相同地事情,是最有利于用户习惯养成的。

推送内容也需要不断测试。Duolingo 的外部触发机制一些用语也格外有趣,如果用户被“通知”后仍旧没有任何登录操作,则会收到“消极-对抗的通知”(“passive-aggressivenotification”)的信息,内容开头则是“这些提醒似乎不起作用……”这种语气很好地符合了品牌的俏皮性质。

A / B 测试 4: “连胜”赌注的测试

Duolingo 有内部的虚拟货币——lingot,用户完成课程可以获得,并可以用来购买增加网站某些功能的虚拟物品,比如访问特殊的语言课程——你想要学会用意大利语吗?——或者回答一个问题,了解你做的怎么样。

团队做了一项关于连胜赌注的项目测试,即用户可以打赌会连胜几场,并将 lingots 做为赌注,在最新版的应用中,这个功能浮出水面。

结果是 14 天用户留存增长 5%,IAP (in-app purchase revenue)增长 600%。

值得一提的是,Duolingo 一直是免费使用的,用户支付主要为了 APP 的脱机使用(为保证连胜)以及免广告。

在这个测试中,Gilani 说,团队曾经设置了为期两天的连胜的赌注,但发现结果该赌注对 14 天留存和日活的增幅最小,最终选择放弃。



A / B 测试 5:“薄弱环节”的改进

Duolingo 发现,相比工作日,周末的用户活跃度会减少 9%。每天坚持学习的用户如果一不小心错过了哪天的打卡,这让许多用户丢掉连胜的机会,从而让用户很丧气。



如果一个用户可以跳过一天,并保持他们的连胜呢?因此,团队尝试让用户可以在周五的时候购买“周末法宝”,它保证用户在周六日即使没有打卡,也不会妨碍学习进度。当然,用户为了这张“护身符”,需要支付 20 lingots。事实证明,告诉用户“你不必在周末玩”对产品的应用有很大的影响:7 日留存提升 2.1%,14 日留存增加 4%。

A / B 测试 6:丰富用户赢的渠道

保持用户参与度的,不只是连胜。Duolingo 提供给用户代表成就的“徽章”。这是用户很难得到的权利。

从第一版推出以来,最大的成就是一些新用户加入了 Duolingo,然而这并没什么可喜可贺,因为 DAU 提升 0%,D14 留存提升 0%。经过反思,团队认为用户必须看到他们所取得的成就,而注册算不上一项成就,更不会让用户感到自豪。用户想要的,是收集勋章的过程。

在进行 A / B 测试时,其中重要的一点是:想要一个想法执行下去并带来较好的效果,你所认为的最简单的办法可能不是最简单的。在“最小化可行性产品”一词中,最小化虽然放在前面,但可行性才是核心所在。

在第二次测试中,团队设计了几款不同徽章,并设置了存放勋章的页面。徽章按照层级分布,比如用户获得完美的徽章,需要经过 5 - 10 个,甚至更多的深度测试等。经过团队努力,最终 DAU 增长 2%、14 日留存增加 2%,以及应用内购买增加 5%。



最后团队进行了总结,开发有前景的功能,或者二次尝试(比如多邻国的勋章)时,试着把产品经理或团队经理和设计师配对起来,二者形成抗衡之势,从而维持团队的激情和执行力。如果测试失败,别忘了进行反思。

一个优秀的教育产品设计师能够让更多的人走得更远,学到更多的东西。一个成功的故事是一个名为埃迪尔森的哥伦比亚保安,他通过 Duolingo 学习语言,现在他已在安全学院有了一份教英语的工作。

那么,在你的应用程序和服务中,你能用什么样的 A/B 测试来留住顾客呢?

本回答来自:Six A/B tests used by Duolingo to tap into habit-forming behaviourwww.econsultancy.com,并结合互联网相关报道进行编译而成。


如有疑问欢迎讨论,更多数据分析相关干货和案例可关注“神策数据”公众号了解!点击下方二维码链接即可关注~

weixin.qq.com/r/dj9rc_f (二维码自动识别)

关于 A/B 测试,神策数据已经拥有很多客户成功迭代案例,若要了解“神策数据”,可点击下方链接到官网了解~

神策数据官网

更多回复:

知乎网友张瑞:
一起需要提的还有灰度发布

在方法论上都属于试错法。

A/B测试就是上两个方案,部署后看效果。根据效果和一些结果参数决定采用哪个方案。
灰度发布是切一部分业务使用新方案,看效果如何,是否有bug,会遇到什么问题。如果一切OK,就把全部业务切到新的方案上执行。

知乎网友马克卓瑞毅级:

看了半天 不就是高中生物的对比实验么 控制变量法


说的这么。。


知乎网友李大少爷:

什么ABtest,简直就是扯淡,本人统计生一枚,说白了就是最简单的统计检验,全是假的~


猜你喜欢