变现新技能get!A/B 测试原来可以如此简单

2018-11-21 刀客 经验分享

对于广大应用开发团队,尤其是游戏APP的开发者们来说,持续优化应用界面和设置的常用方式之一是开展 A/B 测试

什么是 A/B 测试? 

将两个测试版本同时呈现给分组的用户进行实验,并保持各组用户的组成和属性相似,最终在测试完成后选出较好的选项实行操作,整个过程我们称为 A/B 测试
1.jpg


然而在进行测试时,开发者们一旦遇到新的问题,不得不重新打包一个甚至多个版本来重复测试和比对数据,这一切都需要耗费大量的人力精力。本期内容由谷歌的变现合作伙伴 WebEye 为大家介绍 Firebase 的 A/B 测试流程和特点,学会之后能帮助大家成为 A/B 测试小能手,优化应用品质,赚取更高收益。

Firebase A/B 测试 3个亮点 


1.参数设置简单,容易上手
通过在 Remote Config 里更改几个参数值就能自动修改应用设置,不用写代码或重新打包数据。
2.jpg


2.平均分配流量,提升精度
以设置百分比的方式平均分配流量,达到让全部或部分用户参与实验的目标,确保每一个变体在测试投放时都拥有相同的用户属性,变量试验灵活。
3.jpg


3.对比试验结果,快速决策
Firebase 自带的 Analytics 工具可呈现实时可视化图表,帮助开发者们在观察试验结果后迅速做出判断。这个特点能有效减免分析人员每日筛数据做图表的重复工作,之后只需通过查看可视化图表就能及时了解测试情况。
4.jpg
看完三大特点之后,你是不是心动得想立即试用 Firebase 的测试功能呢?欢迎了解并收藏以下的测试流程。我们以一款个性化主题页面的应用为例,为你分步骤解析。

1.测试目的
在设计应用首页时,研发团队一开始并不确定是否需要在顶部设置滚动轮播横幅海报。为了更好地了解用户的行为与喜好,团队针对“顶部滚动轮播横幅”这一元素进行了 Firebase A/B 测试。
5.jpg


2.测试准备工作
在为应用开发一个新的功能点时,开发人员可以针对这项功能在 Firebase 的 Remote Config 中设置参数。此做法不仅可以为之后的 A/B 测试做准备,而且可以在未来当功能点发生故障时及时调整或关闭,尽可能降低因为 bug 带来的损失。

案例中,研发团队首先在 Remote Config 界面设置了一个顶部滚动横幅海报空间的参数,并设置默认值为“TRUE”,即为默认打开。完成开关设置之后,我们在后续进行 A/B 测试时可以直接通过关闭功能来完成变体设置,非常方便。
6.png


3.四项测试步骤
步骤一:创建实验并设置变量
创建试验名称,选择目标用户人群,选定参考指标等。

步骤二:选择目标用户范围
在定位目标用户群时,你可以选择让所有的用户都参与到测试中,即在目标用户的百分比填写100%;或者选择把控风险,仅选择让一部分的用户参与到试验过程中,比如在此次试验中仅选择让50%的用户参与到测试中。
7.jpg


步骤三:设置最主要的参数指标
在 Remote Config 界面中你需要设定一个最主要的指标,用于以后确定试验中的领先变体,同时额外设置多个追踪的其他指标,以便更全面地了解试验数据。

例如在这个案例中,团队将用户的一日留存作为最主要的参数指标,并额外设置了三个衡量指标:主题浏览量,主页停留时长和应用使用时间。
8.jpg


步骤四:设置对照组与试验变体
在参数列表里选择自己之前设置好的功能参数,通过更改一个参数值就能完成对照组和变体的设置。在一些针对应用界面颜色,广告时长等参数的试验时,也可以同时设置多个变体,来选择一个最优的配置。
9.jpg


4.数据分析
根据预设好的观测指标,Firebase 的 A/B 测试连续数据追踪与分析,自动评估最优试验结

5.测试结果
在本次的试验中,系统根据数据判定没有顶部滚动横幅是更好的选择。因此应用团队在确定结果后,自动将应用全部调整为首页没有滚动横幅的版本。经过这次测试与优化,应用次日留存提升了19%,整体收益提升23%。
10.jpg


阅读完此次测试的整个过程,相信你已经体会到 Firebase 的 A/B 测试有哪些优势。例如完全不需要技术开发人员参与流程,运营人员就能轻松搞定。相信 Firebase 的 A/B 测试会成为你们的新帮手,挖掘出更广阔的应用的潜力与价值。

标签: 新技能 A/B 测试

二维码加载中...
本文作者:刀客      文章标题: 变现新技能get!A/B 测试原来可以如此简单
本文地址:http://dao.ke/experience/61.html
版权声明:若无注明,本文皆为“刀客”原创,转载请保留文章出处。

评论:

eec
2018-12-10 16:00
马哥来点干货啊
刀客
2019-01-02 17:50
@eec:最近有点忙...抱歉,等空闲了,会上干货的.

发表评论:

© 2018 | Powered by 刀客