约翰 · 道尔(John Doerr)是硅谷最牛的风险投资人,是谷歌、亚马逊、网景、升阳电脑等公司的早期投资人,更在1999年投资谷歌时,教给了创始人成功指标(OKR)的概念,帮助谷歌达到了今天的高度。2018年4月,他出了一本叫作《以你在乎的作为衡量指标》(Measure What Matters)的书,专门讲成功指标这件事。
他在书中指出:指标是为了定义你想要完成的目标,需要表达清楚在什么期限之内、要达到什么具体的、可衡量的结果。 换句话来说,一个好的指标应该是像“2018年底之前实现100万日活”这样的,而“让用户多花时间在APP上”、“争取用户规模达到100万”都因为缺少了关键信息不能算是一个好指标。
我们经常会说,作为一个产品经理,当你确定了正确的成功指标,你就成功了一半。
比如,你是电商,你的成功指标应该是下单用户数,而不是总的用户数量。因为,你可以让大家下载APP抽奖赢取福利,但是大家下载后并没有下单,那最后即使你成功积攒了千万用户这个公司也依旧无法做下去。因此,制定了错误的成功指标,进而导致了后续的产品策略失误,最终的结果就是产品的失败。
假设微信朋友圈的成功指标是,用户在微信朋友圈花的时间。为了达成这个目标,微信向你推送了更多花时间的内容(例如,文章、视频),却减少了你所关注的朋友发的文字状态或者图片内容。这样看似增加了你在微信朋友圈花的时间,但是却忽略了你使用朋友圈的目的是和朋友互动。
那么,当你的需求得不到满足时,你就会减少在微信朋友圈花费的时间,甚至放弃微信朋友圈,所以单纯采用用户花费的时间多少作为成功指标最终起到了反作用。这也恰恰说明了产品的成功指标要和实现的用户需求相契合。
其实,有的时候产品所要满足的用户需求并没有改变,只是产品阶段不同指标也会不一样,那么你应该怎么判断制定的指标是否正确,又怎么用指标作出产品决定呢?
接下来,我用这个微信朋友圈添加新功能的例子来跟你解释这个问题。
案例: 如果你是微信朋友圈的产品经理,现在你要在朋友圈加一个可以用表情包评论的功能,你需要通过制定这个功能的成功指标、进行A/B测试,来确定这个功能到底值不值得发布?
首先,明确产品的成功指标是什么。
第一步,弄清楚整个产品的最高目标。
如果我是微信朋友圈的产品经理,我会从微信的核心指标开始,毕竟朋友圈是微信的一个功能。假设微信的核心指标就是用户的活跃程度,包括用户评论、分享、发消息、发图片等用户行为。
这实际上是一个非常复杂的指标,需要考虑每项用户行为的权重,比如评论相当于几分、分享相当于几分。假设,我们已经通过用户数据、调研等方式确定了这个衡量指标是: 用户的总活跃分= 评论×1 + 分享×0.5 +发消息× 1。
朋友圈的设计初衷也是希望用户通过这个平台分享自己的生活、增加朋友间的互动,以此来增加用户的活跃程度,从而提升整个微信的总活跃分。
第二步,思考你的产品功能还有哪些指标需要注意。
我们已经明确了朋友圈的核心目的是为了提升微信用户的活跃度,增加微信的总活跃分。另外,微信朋友圈正计划增加在用户发的状态间穿插广告的功能,即每隔几个状态就穿插一条广告,所以我们希望用户可以多刷几条朋友状态,以提高穿插广告的曝光量,所以用户浏览朋友状态的数量也是一个指标。
第三步,思考新功能可以解决的问题和上面列出的几个指标有什么关系。
比如,在朋友圈加了一个可以用表情包评论的功能,以降低朋友间互动的门槛,帮助用户更方便地发表评论。
通过表情包评论的功能,发表评论的用户可以通过一个有意思的表情,表达用文字无法传达的情感,这对他们来说意义非凡。
而对于发表状态的用户来说,以前一条状态可能只有两条文字评论,但现在因为表情包降低了回复门槛,评论数增加到10条甚至更多了。这样,发表状态的用户会感觉到朋友们都很关注他,这也会激发他再次发状态的激情,最后的结果就是增加了微信的总活跃分。
第四,思考反指标是什么。
反指标(counter metrics)是指你的产品带来的负面影响。 假设微信还会对朋友圈的内容质量打分,那么这个使用表情包评论功能的反指标就是降低了朋友圈内容质量分数。
因为以前大家使用纯文字交流时,都比较“走心”,交流的内容也很有深度,而现在几个简简单单的暴走漫画、卖萌表情就可以代替语言, 反而让交流流于表面,丧失了原本的厚重感,所以就会降低整个朋友圈的内容质量分数。
通过对成功指标的分析, 我们明确了这个新功能的成功指标和反指标:
- 成功指标是:提升微信的总活跃分和用户每天浏览朋友状态的数量;
- 反指标是:降低了朋友圈内容质量分。
然后,进行A/B测试验证新功能对产品的影响。
我们设置了实验组和对照组,实验组增加了这个功能,而对照组没有,其他条件一样,然后观察两组成功指标和反指标的变化情况。
如果实验组的成功指标增加显著,而且反指标被控制住了,说明这个功能起到了我们想要的效果。
一般情况下, 我们会设定一个指标提升的具体目标,比如5%,这个量化标准是非常重要的。如果新增加的功能对成功指标的提升低于这个目标,那这个新功能是不能算作成功的,是没有必要添加的。
比如,我们花了两个月的时间只提升了0.1%,那么就应该认真考虑有没有必要继续花1个月优化这个功能。这时,我们通过数据分析和估算发现,继续优化这个功能并不能达到提升5%的目标,那后续的优化就根本不值得了,需要当机立断砍掉这个功能。
这里需要注意两个问题:
如果你的产品有多个指标想要提升,你需要将这些指标按照重要性进行排序,方便出现问题时权衡取舍。
以微信朋友圈添加表情包评论功能为例,通过分析已经明确了成功指标和反指标,如果你的测试结果发现,成功指标中的微信总活跃分下降了、用户每天浏览朋友圈状态的数量增加了,那你应该怎么权衡取舍呢?
一般情况下,我们会确保新添加的功能不会影响整个产品的总指标,选择放弃这个新功能。但是,这个案例并没有这么简单,因为我们的假设是:广告穿插在朋友圈的状态之间,用户浏览朋友状态的数量增加了,也就意味着用户浏览的广告数量增加了,那无疑将会带来更多的广告收入。所以,这在这个案例里面,产品经理需要权衡是整个产品的成功指标重要,还是通过广告获取更多的利润更重要。
往往这样的决定已经超出了产品经理所能处理的范围,需要公司最高级别的领导来决策了。公司高层可能会说,我们现在的收入一直上不去、股票大跌,我们必须赶快扭亏为盈,那广告带来的收入就更重要了;公司高层还可能会说,我们要以用户为第一原则,不能为了短期利益损害用户的信任,那整个产品的总指标就更重要了。当然,如果你是创业公司CEO,这样的决定就需要你自己做了。A/B测试的时间需要根据具体的产品情况而定,过短的测试时间得到的指标不具有稳定性,需要等数据稳定后再做决定。
比如表情包评论的功能, 可能大家一开始因为新鲜使用频率比较高,各项指标都非常好看; 但是过几天用户发现朋友圈的评论全都是各种表情包,并没有实质内容和有价值的讨论,所以逐渐丧失了兴趣,导致指标大跌。那就需要延长A/B测试的时间,等指标稳定后再做决定。
总结
今天这篇文章我以微信朋友圈添加使用表情包评论的功能,跟你分享了制定产品成功指标大致可以分为4步:
- 明确整个产品的最高目标;
- 思考这个新功能的小指标有哪些;
- 明确这个功能是如何提升整个产品的总指标和小指标的;
- 明确反指标是什么。
确定了产品的成功指标后,需要进行A/B测试,这里还有两个问题需要注意:
- 在指标之间进行权衡取舍;
- 要注意A/B测试的时间,需要等数据稳定后再做决定。
思考题
如果你是抖音的产品经理,现在想加一个加强版的美颜功能,你应该如何制定产品的成功指标?欢迎你给我留言。
精选留言
2018-08-07 10:37:42
用户的总活跃度=观看者*1+UGC*1+评论*0.5
2.新功能的小指标
增加UGC生产数量
3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
增加UGC数量带动观看者数量,从而增加评论者数量
4.反指标
过分不真实、趋于同质化导致观看用户反感
2018-05-17 17:43:51
2019-10-01 20:03:01
1、明确整个产品的最高目标:用户的总活跃分(点赞+评论+分享)
2、思考这个新功能的小指标有哪些:
内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化
3、明确这个功能是如何提升整个产品的总指标和小指标的;
内容传播相关环节:内容制作、发布、传播、观看、粉丝关注和获利
内容发布率:技术门槛降低,用户制作视频的成本降低,效率提升,内容制作会更快。
用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化:内容多样性和质量的提升,会加强部分用户的粘度。
4、明确反指标是什么:
内容质量分降低,内容过度注重修饰,忽略内容制作。
老创作者流失率增加,技术门槛降低,老创作者的粉丝被分流,创作积极性受到打击。
2018-06-28 11:00:51
2018-05-22 09:29:31
对于非强运营的产品, 产品的好与坏确实受产品自身定位及功能的合理性影响很大。某项功能的量化指标,根据历史数据很容易制定的。如注册登录转化率、下单支付转化等。
东方哲学讲究阴阳调和, 看到“反指标”眼前一亮,之前确有考虑过某个功能可能的负面影响,但未曾量化分析过,产品也需要平衡。
我不玩抖音,参考Instagram滤镜产生的影响,加强版的滤镜会在滤镜使用率、发布视频数量上有所提升。产生的负面影响是大量加滤镜视频发布降低内容质量(强调展示美,内容无趣)。 具体指标量化需要有数据支持,暂时无法给出。
2018-07-27 15:07:09
用户的总活跃度=观看者*1+UGC*1+评论*0.5
2.新功能的小指标
增加UGC生产数量
3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
增加UGC数量带动观看者数量,从而增加评论者数量
4.反指标
过分不真实、趋于同质化导致观看用户反感
2018-05-17 22:27:34
2019-10-01 17:05:35
1、明确整个产品的最高目标:用户的总活跃分(点赞+评论+分享)
2、思考这个新功能的小指标有哪些:
内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化
3、明确这个功能是如何提升整个产品的总指标和小指标的;
内容传播相关环节:内容制作、发布、传播、观看、粉丝关注和获利
内容发布率:技术门槛降低,用户制作视频的成本降低,效率提升,内容制作会更快。
用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化:内容多样性和质量的提升,会加强部分用户的粘度。
4、明确反指标是什么:
内容质量分降低,内容过度注重修饰,忽略内容制作。
老创作者流失率增加,技术门槛降低,老创作者的粉丝被分流,创作积极性受到打击。
2020-05-07 10:09:31
- 用户活跃度=视屏数量×1+点赞×1+评论×0.5+分享×1
2. 增加美艳强化功能可能影响到的其他衡量指标
1. 会吸引更多用户的尝试
2. 让更多已有的用户去发更多的搞怪视频
3. 与之前核心衡量指标之间的关系
1. 会增加更多新视频——增加视屏数量
1. 降低了上传视频的门槛,让很多不上传视频的用户开始有上传视频的契机;
2. 让更多习惯
2. 变美后或者搞怪的视频会增加更多点赞
3. 抽象的事物能够引起更多评论数量
4. 分享美化的和搞怪的视频增加
4. 反指标
1. 造成视频内容变水
2. 造成反感用户的流失
3. 造成让很多不依靠人脸出境做视频的人流失
5. OKR:日活提升7%
2020-02-25 10:51:25
2018-05-29 17:37:44
同样的,对于反向指标,是不是也用类似的方法去制定量化标准呢?
谢谢,期望能收到您的回复。
2018-05-25 15:16:49
(3)反目标:内容过于同质化,缺少真实性及特点。
2023-04-23 19:18:36
2018-05-19 11:09:44
2018-05-17 08:30:20
两周内女性用户自拍视频发布总量提升10%
两周内女性用户自拍视频观看量与发布量比上升20%
两周内女性用户取消发送视频与发送视频比例下降30%
2024-12-23 11:38:12
2024-03-27 21:33:08
加强美颜视频作品用户活跃度=加强美颜视频作品评论*1 +分享*0.5+点赞*1 +视频完播率*1 +
反指标:真实性
需要长期观测成功指标防止剧烈下滑,
2023-05-18 16:59:27
2、产品功能需要注意的指标:
用户停留时间、拍摄视频数量、使用美颜功能用户数
3、加强版美颜功能可以适当缓解容貌焦虑问题,使得更多人加入到视频内容分享中。
4、反指标:美颜功能与真人的相似度,是否会带来虚拟与现实的过大差距
美颜功能的发布,是否会造成一些社会性问题(例如:使用超强美颜功能引发的情感诈/骗)
2022-04-25 13:36:06
2022-02-22 11:18:19