12 | 制定产品成功指标

约翰 · 道尔(John Doerr)是硅谷最牛的风险投资人,是谷歌、亚马逊、网景、升阳电脑等公司的早期投资人,更在1999年投资谷歌时,教给了创始人成功指标(OKR)的概念,帮助谷歌达到了今天的高度。2018年4月,他出了一本叫作《以你在乎的作为衡量指标》(Measure What Matters)的书,专门讲成功指标这件事。

他在书中指出:指标是为了定义你想要完成的目标,需要表达清楚在什么期限之内、要达到什么具体的、可衡量的结果。 换句话来说,一个好的指标应该是像“2018年底之前实现100万日活”这样的,而“让用户多花时间在APP上”、“争取用户规模达到100万”都因为缺少了关键信息不能算是一个好指标。

我们经常会说,作为一个产品经理,当你确定了正确的成功指标,你就成功了一半。

比如,你是电商,你的成功指标应该是下单用户数,而不是总的用户数量。因为,你可以让大家下载APP抽奖赢取福利,但是大家下载后并没有下单,那最后即使你成功积攒了千万用户这个公司也依旧无法做下去。因此,制定了错误的成功指标,进而导致了后续的产品策略失误,最终的结果就是产品的失败。

假设微信朋友圈的成功指标是,用户在微信朋友圈花的时间。为了达成这个目标,微信向你推送了更多花时间的内容(例如,文章、视频),却减少了你所关注的朋友发的文字状态或者图片内容。这样看似增加了你在微信朋友圈花的时间,但是却忽略了你使用朋友圈的目的是和朋友互动。

那么,当你的需求得不到满足时,你就会减少在微信朋友圈花费的时间,甚至放弃微信朋友圈,所以单纯采用用户花费的时间多少作为成功指标最终起到了反作用。这也恰恰说明了产品的成功指标要和实现的用户需求相契合。

其实,有的时候产品所要满足的用户需求并没有改变,只是产品阶段不同指标也会不一样,那么你应该怎么判断制定的指标是否正确,又怎么用指标作出产品决定呢?

接下来,我用这个微信朋友圈添加新功能的例子来跟你解释这个问题。

案例: 如果你是微信朋友圈的产品经理,现在你要在朋友圈加一个可以用表情包评论的功能,你需要通过制定这个功能的成功指标、进行A/B测试,来确定这个功能到底值不值得发布?

首先,明确产品的成功指标是什么。

第一步,弄清楚整个产品的最高目标。

如果我是微信朋友圈的产品经理,我会从微信的核心指标开始,毕竟朋友圈是微信的一个功能。假设微信的核心指标就是用户的活跃程度,包括用户评论、分享、发消息、发图片等用户行为。

这实际上是一个非常复杂的指标,需要考虑每项用户行为的权重,比如评论相当于几分、分享相当于几分。假设,我们已经通过用户数据、调研等方式确定了这个衡量指标是: 用户的总活跃分= 评论×1 + 分享×0.5 +发消息× 1。

朋友圈的设计初衷也是希望用户通过这个平台分享自己的生活、增加朋友间的互动,以此来增加用户的活跃程度,从而提升整个微信的总活跃分。

第二步,思考你的产品功能还有哪些指标需要注意。

我们已经明确了朋友圈的核心目的是为了提升微信用户的活跃度,增加微信的总活跃分。另外,微信朋友圈正计划增加在用户发的状态间穿插广告的功能,即每隔几个状态就穿插一条广告,所以我们希望用户可以多刷几条朋友状态,以提高穿插广告的曝光量,所以用户浏览朋友状态的数量也是一个指标。

第三步,思考新功能可以解决的问题和上面列出的几个指标有什么关系。

比如,在朋友圈加了一个可以用表情包评论的功能,以降低朋友间互动的门槛,帮助用户更方便地发表评论。

通过表情包评论的功能,发表评论的用户可以通过一个有意思的表情,表达用文字无法传达的情感,这对他们来说意义非凡。

而对于发表状态的用户来说,以前一条状态可能只有两条文字评论,但现在因为表情包降低了回复门槛,评论数增加到10条甚至更多了。这样,发表状态的用户会感觉到朋友们都很关注他,这也会激发他再次发状态的激情,最后的结果就是增加了微信的总活跃分。

第四,思考反指标是什么。

反指标(counter metrics)是指你的产品带来的负面影响。 假设微信还会对朋友圈的内容质量打分,那么这个使用表情包评论功能的反指标就是降低了朋友圈内容质量分数。

因为以前大家使用纯文字交流时,都比较“走心”,交流的内容也很有深度,而现在几个简简单单的暴走漫画、卖萌表情就可以代替语言, 反而让交流流于表面,丧失了原本的厚重感,所以就会降低整个朋友圈的内容质量分数。

通过对成功指标的分析, 我们明确了这个新功能的成功指标和反指标:

  • 成功指标是:提升微信的总活跃分和用户每天浏览朋友状态的数量;
  • 反指标是:降低了朋友圈内容质量分。

然后,进行A/B测试验证新功能对产品的影响。

我们设置了实验组和对照组,实验组增加了这个功能,而对照组没有,其他条件一样,然后观察两组成功指标和反指标的变化情况。

如果实验组的成功指标增加显著,而且反指标被控制住了,说明这个功能起到了我们想要的效果。

一般情况下, 我们会设定一个指标提升的具体目标,比如5%,这个量化标准是非常重要的。如果新增加的功能对成功指标的提升低于这个目标,那这个新功能是不能算作成功的,是没有必要添加的。

比如,我们花了两个月的时间只提升了0.1%,那么就应该认真考虑有没有必要继续花1个月优化这个功能。这时,我们通过数据分析和估算发现,继续优化这个功能并不能达到提升5%的目标,那后续的优化就根本不值得了,需要当机立断砍掉这个功能。

这里需要注意两个问题:

  1. 如果你的产品有多个指标想要提升,你需要将这些指标按照重要性进行排序,方便出现问题时权衡取舍。
    以微信朋友圈添加表情包评论功能为例,通过分析已经明确了成功指标和反指标,如果你的测试结果发现,成功指标中的微信总活跃分下降了、用户每天浏览朋友圈状态的数量增加了,那你应该怎么权衡取舍呢?
    一般情况下,我们会确保新添加的功能不会影响整个产品的总指标,选择放弃这个新功能。但是,这个案例并没有这么简单,因为我们的假设是:广告穿插在朋友圈的状态之间,用户浏览朋友状态的数量增加了,也就意味着用户浏览的广告数量增加了,那无疑将会带来更多的广告收入。所以,这在这个案例里面,产品经理需要权衡是整个产品的成功指标重要,还是通过广告获取更多的利润更重要。
    往往这样的决定已经超出了产品经理所能处理的范围,需要公司最高级别的领导来决策了。公司高层可能会说,我们现在的收入一直上不去、股票大跌,我们必须赶快扭亏为盈,那广告带来的收入就更重要了;公司高层还可能会说,我们要以用户为第一原则,不能为了短期利益损害用户的信任,那整个产品的总指标就更重要了。当然,如果你是创业公司CEO,这样的决定就需要你自己做了。

  2. A/B测试的时间需要根据具体的产品情况而定,过短的测试时间得到的指标不具有稳定性,需要等数据稳定后再做决定。
    比如表情包评论的功能, 可能大家一开始因为新鲜使用频率比较高,各项指标都非常好看; 但是过几天用户发现朋友圈的评论全都是各种表情包,并没有实质内容和有价值的讨论,所以逐渐丧失了兴趣,导致指标大跌。那就需要延长A/B测试的时间,等指标稳定后再做决定。

总结

今天这篇文章我以微信朋友圈添加使用表情包评论的功能,跟你分享了制定产品成功指标大致可以分为4步:

  1. 明确整个产品的最高目标;
  2. 思考这个新功能的小指标有哪些;
  3. 明确这个功能是如何提升整个产品的总指标和小指标的;
  4. 明确反指标是什么。

确定了产品的成功指标后,需要进行A/B测试,这里还有两个问题需要注意:

  1. 在指标之间进行权衡取舍;
  2. 要注意A/B测试的时间,需要等数据稳定后再做决定。

思考题

如果你是抖音的产品经理,现在想加一个加强版的美颜功能,你应该如何制定产品的成功指标?欢迎你给我留言。

精选留言

  • Yanel 说敏捷产品

    2018-08-07 10:37:42

    1.抖音的最高目标(用户活跃、停留时间、留存)
    用户的总活跃度=观看者*1+UGC*1+评论*0.5
    2.新功能的小指标
    增加UGC生产数量
    3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
    增加UGC数量带动观看者数量,从而增加评论者数量
    4.反指标
    过分不真实、趋于同质化导致观看用户反感
  • 2018-05-17 17:43:51

    希望作者可以讲一下 to b 的产品,面临客户定制化严重的情况,应该如何去做需求分析,如何说服自己的领导,客户,有没有方法论可以参考,多谢🙏🏻
    作者回复

    to b 要考虑客户的重要程度,重点是哪些功能要是没有 客户打死也不干 就会丧失这个客户 损失了多少钱。所以同样的方式也适用。但是具体权衡取舍的准绳却改变了

    2018-05-22 10:11:22

  • 向哲

    2019-10-01 20:03:01

    如果我是的话,会通过增加加强版美颜功能,降低分享的门槛和提升短视频质量,让更多人参与到内容创作中来,使内容更加多样,满足不同类型用户的需求,增加平台的活跃度

    1、明确整个产品的最高目标:用户的总活跃分(点赞+评论+分享)

    2、思考这个新功能的小指标有哪些:

    内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化

    3、明确这个功能是如何提升整个产品的总指标和小指标的;

    内容传播相关环节:内容制作、发布、传播、观看、粉丝关注和获利

    内容发布率:技术门槛降低,用户制作视频的成本降低,效率提升,内容制作会更快。

    用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化:内容多样性和质量的提升,会加强部分用户的粘度。

    4、明确反指标是什么:

    内容质量分降低,内容过度注重修饰,忽略内容制作。

    老创作者流失率增加,技术门槛降低,老创作者的粉丝被分流,创作积极性受到打击。
  • 肖志鹏

    2018-06-28 11:00:51

    指标提升5%,是怎么得出来的
  • 徐东鹏~种下一朵太阳花

    2018-05-22 09:29:31

    我一直反对公司使用kpi对产品经理考核, 对于创新型岗位我推崇使用okr。在某个阶段解决某种问题,并拆分出需要达到的量化指标,这比死板的kpi考核更灵活,切挑战性很强。
    对于非强运营的产品, 产品的好与坏确实受产品自身定位及功能的合理性影响很大。某项功能的量化指标,根据历史数据很容易制定的。如注册登录转化率、下单支付转化等。

    东方哲学讲究阴阳调和, 看到“反指标”眼前一亮,之前确有考虑过某个功能可能的负面影响,但未曾量化分析过,产品也需要平衡。

    我不玩抖音,参考Instagram滤镜产生的影响,加强版的滤镜会在滤镜使用率、发布视频数量上有所提升。产生的负面影响是大量加滤镜视频发布降低内容质量(强调展示美,内容无趣)。 具体指标量化需要有数据支持,暂时无法给出。
    作者回复

    嗯 我们平时有很多指标和反指标 所以真正能发布产品可不是一件容易事儿哈哈

    2018-05-22 10:03:58

  • Yanel 说敏捷产品

    2018-07-27 15:07:09

    1.抖音的最高目标(用户活跃、停留时间、留存)
    用户的总活跃度=观看者*1+UGC*1+评论*0.5
    2.新功能的小指标
    增加UGC生产数量
    3.加强版美颜功一方面刺激生产用户的活跃度,另一方面也增加了美感,提高了观看者浏览数量
    增加UGC数量带动观看者数量,从而增加评论者数量
    4.反指标
    过分不真实、趋于同质化导致观看用户反感
  • Geek_o42wl6

    2018-05-17 22:27:34

    反指标不是很理解,例如例子内容质量是怎么评判的
    作者回复

    质量分。比如你可以看用户举报内容比例。如果5%的内容被举报,质量就很不好。

    2018-05-20 01:39:23

  • 向哲

    2019-10-01 17:05:35

    通过增加加强版美颜功能,降低分享的门槛和提升短视频质量,让更多人参与到内容创作中来,使内容更加多样,满足不同类型用户的需求,增加平台的活跃度

    1、明确整个产品的最高目标:用户的总活跃分(点赞+评论+分享)

    2、思考这个新功能的小指标有哪些:

    内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化

    3、明确这个功能是如何提升整个产品的总指标和小指标的;

    内容传播相关环节:内容制作、发布、传播、观看、粉丝关注和获利
    内容发布率:技术门槛降低,用户制作视频的成本降低,效率提升,内容制作会更快。

    用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化:内容多样性和质量的提升,会加强部分用户的粘度。

    4、明确反指标是什么:

    内容质量分降低,内容过度注重修饰,忽略内容制作。

    老创作者流失率增加,技术门槛降低,老创作者的粉丝被分流,创作积极性受到打击。
  • 毛毛雨

    2020-05-07 10:09:31

    1. 抖音的核心衡量指标
    - 用户活跃度=视屏数量×1+点赞×1+评论×0.5+分享×1
    2. 增加美艳强化功能可能影响到的其他衡量指标
    1. 会吸引更多用户的尝试
    2. 让更多已有的用户去发更多的搞怪视频
    3. 与之前核心衡量指标之间的关系
    1. 会增加更多新视频——增加视屏数量
    1. 降低了上传视频的门槛,让很多不上传视频的用户开始有上传视频的契机;
    2. 让更多习惯
    2. 变美后或者搞怪的视频会增加更多点赞
    3. 抽象的事物能够引起更多评论数量
    4. 分享美化的和搞怪的视频增加
    4. 反指标
    1. 造成视频内容变水
    2. 造成反感用户的流失
    3. 造成让很多不依靠人脸出境做视频的人流失
    5. OKR:日活提升7%
  • Weehua

    2020-02-25 10:51:25

    这讲真的太好了,我们作为一个技术leader,发现这些做产品的原则对于工作来说非常重要。我们的产品几乎不会考虑这些问题。赞!
  • Leo

    2018-05-29 17:37:44

    老师,有个问题想请教一下,关于给指标提升一个量化标准,请问是通过哪些方法去制定这个系数的呢?在文中的5%是如何得到的呢?
    同样的,对于反向指标,是不是也用类似的方法去制定量化标准呢?
    谢谢,期望能收到您的回复。
    作者回复

    这个根据你需要的样本数。我们基数很大 所以一般做5%

    2018-06-06 09:49:13

  • DSY💎

    2018-05-25 15:16:49

    以下是我的思考,请老师指正。抖音做加强版美颜功能,为的是让用户更好的展示自己,从而拍更多的视频,提供更多内容,提升用户活跃、停留时长、留存。 (1)最高目标:提升视频拍摄数量 (2)其他注意指标:用户活跃、用户停留时长、用户留存,视频拍摄量和用户活跃、停留时长、留存的关系。
    (3)反目标:内容过于同质化,缺少真实性及特点。
    作者回复

    写得很有道理!

    2018-06-01 14:47:28

  • Gollum

    2023-04-23 19:18:36

    常读常新
  • yuxin

    2018-05-19 11:09:44

    作为设计师经常收到一些明显会引起负面作用的需求,除了有损品牌形象,用户体验不好这样的理由之外无法反驳,今天学到了新名词:反指标。thx~
    作者回复

    哈哈 很开心帮到你

    2018-05-20 01:37:26

  • 豆大豆豆

    2018-05-17 08:30:20

    两周内自拍视频总量提升15%
    两周内女性用户自拍视频发布总量提升10%
    两周内女性用户自拍视频观看量与发布量比上升20%
    两周内女性用户取消发送视频与发送视频比例下降30%
  • Victoria

    2024-12-23 11:38:12

    一体两面,设定成功的指标,也要考虑反指标,这样才能更全面充分为产品服务,提升产品力
  • 逃跑的按钮

    2024-03-27 21:33:08

    成功指标:用户的总使用情况(尤其是颜值类博主的受众情况):加强美颜视频作品/所有视频作品,
    加强美颜视频作品用户活跃度=加强美颜视频作品评论*1 +分享*0.5+点赞*1 +视频完播率*1 +
    反指标:真实性
    需要长期观测成功指标防止剧烈下滑,
  • Geek_aa4285

    2023-05-18 16:59:27

    1、最高目标: 活跃用户数 活跃=点赞+评论+分享
    2、产品功能需要注意的指标:
    用户停留时间、拍摄视频数量、使用美颜功能用户数
    3、加强版美颜功能可以适当缓解容貌焦虑问题,使得更多人加入到视频内容分享中。
    4、反指标:美颜功能与真人的相似度,是否会带来虚拟与现实的过大差距
    美颜功能的发布,是否会造成一些社会性问题(例如:使用超强美颜功能引发的情感诈/骗)
  • Geek_58fcf2

    2022-04-25 13:36:06

    制定成功指标,及反指标。进行a/b测试,获得效果。
  • 啊哈小可爱

    2022-02-22 11:18:19

    加强版美颜发布后视频发布者发布动态是不是频次提高了?其他用户的互动频率是不是提高了?