增长是一个持续实验的过程,就像做产品迭代,最科学的方法是向迭代要数据,依据数据做迭代;做增长亦是如此,即数据驱动增长。
策略、增长都有各自的方法论,抽象出来其实表达的是相似的意思。
通过数据发现问题→提出假设→设计方案→获得更多数据→验证假设→发现颗粒度更细的问题→提出更精准的假设。
是无数组闭环逻辑的循序渐进,根据实际达到的效果以及成本,来决定做到哪一步就可以满足目标或者需要及时止损。
每套方法论都有自己的逻辑闭环和不同的适用场景,也存在在执行时仍然存在的困惑,根据自己遇到的困惑,拆解输出的方法论理解消化后输出自己的方法论,才是最合适的做法。
增长实验通常以A/B测试的方式进行,要清楚A/B测试只是手段不是目的,在日常生活中也可以加以利用。
2. 设计增长实验前,如何发现问题 2.1 有明确目标(根据目标找数据)有明确目标的意思是,促使实验发起的需求来源不是分析数据后发现的问题,而是通过其他需求来源提出的明确的可衡量的目标。
比如老板下达任务,这个季度的GMV要提升30%。那么关键指标可定义为2020Q1GMV,相关指标可以在已经搭建好的增长模型或者公式中获得。
GMV等于流量*转化率*客单价,流量包含自然流量和渠道流量等,自然流量包含产品本身的APP、小程序等,渠道流量包含各个外部渠道。
根据实际情况选择对应的颗粒度分析。
2.2 无明确目标(根据数据找目标)无明确目标的意思是,促使实验发起的需求来源,并不聚焦于某一个具体目标,我们想通过优化某一个当前需要优化的内容,从而达到提升整体效果的终极目标。
此时为了避免拍脑袋定方案,设计出低质量的实验浪费资源,就要通过一些科学方法找到相对合理的目标。
a.收集用户反馈
在产品的用户反馈入口、应用商店评价、社交平台等渠道收集用户反馈。
通过对用户反馈的过滤、整理、分析,发现与增长相关的问题,以解决此问题为目标设计增长实验。
用户的反馈比较随机,难以判断影响面,与产品全局没有直接关系,因此可能需要其他手段进一步验证,着重思考优先级的排序。
b.系统监控
在数据体系较为完善的系统中,可以通过监控发现问题。
提前设置好监控指标和报警规则,是在一段周期内一劳永逸的方式,提升发现问题的效率,降低需求分析的成本。
比如某成熟期的社区产品的日留存率平均在30%,如果每天的留存率在正常波动区间内,我们便可以将精力用在其他地方,如果留存率不在正常波动区间,即出现异常(一般指留存率偏低的情况)。
首先要根据业务实际情况确定是否真的是异常情况,如果确定是异常情况,可能会通过增长实验,来将异常数据拉回正常区间;如果不是异常情况,可能需要调整报警规则。
比如K12类产品,在周末活跃度对比周一至周五下降,或者购票类产品在假期过后活跃度下降,通常属于正常情况。
c.定期复盘
复盘的方式可以具象为效果回归。效果回归是验证在之前的增长动作中,有没有达到目标。如果达到,探索进一步优化的空间;如果没有达到,分析原因,尝试通过接下来的增长动作达到目标。
3. 增长实验案例丨KEEP社区 3.1 实验背景&目的(1)提升用户对其他用户关注率
统计显著性在这里不深入展开,市面上有专门的统计工具,通过搜索引擎即可找到
(2)实验前准备-定义指标
【(年/月/日)关注率】定义:用户累计(年/月/日)关注数/用户(年/月/日)累计浏览内容来源其他用户数。 (对一个用户生产的多条内容做去重)
【浏览】定义:对应内容在一屏中露出60%。在页面中停留时间≥5s。
3.2 增长实验步骤1:提出实验假设
假设1:
【如果】在社区feed流中增加关注按钮
【预计】月关注率可以提升20%
【因为】
最佳实践:
抖音feed流中可以直接关注发布者
定量分析
假设2
【如果】增加逻辑:点赞默认同时关注,个人中心可设置点赞是否同步关注
【预计】月关注率可以提升30%
【因为】
最佳实践
通常情况,缩短转化路径可以提升转化率。
微博有类似的逻辑,通过内容吸引用户关注发布者。
定量分析
假设3
【如果】为游客开放浏览社区和关注用户&话题权限。(登录后选择是否同步关注数据,根据终端同步)
【预计】月关注率可以提升5%
【因为】
最佳实践
对于游客用户也可以使其产生粘性和沉默成本,拿出诚意,先给用户价值,寻求用户未来的登录。
好奇心日报,未登录状态下可以做浏览、收藏、参与研究等操作。
定量分析
假设4
【如果】类似微博,登录成功后,引导填写简单用户问卷(健身侧重内容),根据用户个人情况推荐关注表单。
【预计】月关注率可以提升25%
【因为】
最佳实践
微博的各种引导关注&自动关注机制,需要权衡差异选择性参考。
定量分析
步骤2:ICE模型打分,制定优先级
优先级:假设1>假设2>假设4>假设3
打分依据-预期影响
打分依据-成功概率
打分依据-容易程度
步骤3:实验设计
避免内容重复,这里再引入一个新的实验假设讲解后续内容
1)实验假设
【如果】用户在动态详情中停留5s以上,关注按钮变亮变大。
【预计】月关注率可以提升20%(5%→6%)。
【因为】停留可以反应出用户对内容的兴趣,从而说明对发布者的兴趣;5s的时候用户兴趣比较浓厚又未完全沉浸在内容中,此时关注按钮发生视觉变化既提醒用户关注又不会过分干扰造成反感。
最佳实践
(同假设2)微博有类似的逻辑,通过内容吸引用户(强提醒)关注发布者。
定量分析
2)实验指标
【月关注率】定义:用户当月累计关注数/用户当月累计浏览内容来源其他用户数。 (对一个用户生产的多条内容做去重)
【浏览】定义:对应内容在一屏中露出60%。在动态详情页中停留时间≥5s。
因为实验的改动是在动态详情中的3个页面(动态、视频、文章),因此实验前后的数据对比仅统计此部分数据差异;确保不会被其他因素干扰。
核心指标:(上面3个页面依次编号1、2、3)页面1月关注率、页面2月关注率、页面3月关注率。
反向指标:页面1月取关率、页面2月取关率、页面3月取关率。
【取关率】定义:用户在对应页面中关注后又取消的数量/用户在对应页面中关注数。
辅助指标:(上面3个页面对应依次1、2、3)页面1关注平均停留时长、页面2关注平均停留时长、页面3关注平均停留时长。
【停留时长关注比】用户在对应页面中关注,平均需要停留的时间。
与实验的5s对比,衡量5s这个时间点发生的按钮样式变动,对用户最终关注的影响程度。
3)实验受众
【有关注习惯用户】定义:关注数/活跃(进入社区)天数≥1(每活跃1天,新增1个关注)
【无特定习惯用户】定义:0.3<关注数/活跃(进入社区)天数<1
【无关注习惯用户】定义:关注数/活跃(进入社区)天数≤0.3
4)实验设计-A/B测试
a. 版本划分及原因
3个版本:
(该阶段的思维发散仅做思路展示,后面两个时间的计算不考虑中间涉及到的拆解用户组)
b. 如果将文章详情的【月关注率】提升到6%
已知当前关注率5%,目标提升至6%,统计显著性需达到95%,文章详情每日UV10000。
每组流量分配:10000/9≈1111
剩余名额全部划分至【有关注习惯用户】【无提醒】,实验无结论前,减少对活跃用户的影响。
实验时间
通过工具计算得出:6900/1111≈6.2天,取整数7天。
5)分析实验结果
实验组:是接受实验变量处理的对象组。
对照组:对实验假设而言,是不接受实验变量处理的对象组。
关注点:
6)实验下一步
开启新的循环
作者:紫原新之助
来源:小紫原产品手帐