结束语|实践是检验真理的唯一标准

你好,我是博伟。

在过去的这些年里,我一直在和A/B测试打交道,研究的时间越久,越能体会出其中蕴含的深意。所以在设计课程大纲时,结束语这一讲的标题,我毫不犹豫地选择了“实践是检验真理的唯一标准”。这句话很朴素,却是我这么多年和A/B测试朝夕相处的真实体会。

首先,我想和你聊聊为什么我在课程中会反复强调实践的重要性。

A/B测试本身,就是一种偏经验和方法论的工具。掌握了我在课程中讲的这些统计原理、规范流程后,也不能保证你在实践中如鱼得水,游刃有余。毕竟听到的经验和方法,想要深刻理解,还是要拿到实际业务场景中反复试炼,才能不断迭代和完善。

即使是我讲过的一些常见误区和问题,以及一些隐形的坑点,由于业务环境的千差万别,你在实践时大概率还是会遇到,而且还会遇到其他的坑。不过不要害怕,因为有些“弯路”非走不可,正是在和“弯路”的博弈中,你才能摸透A/B测试中的招式和套路,精进业务。

A/B测试带给公司和团队的不光是持续提升的结果,更重要的是实验意识。团队中的成员提出一个想法,究竟是突发奇想,还是真正可靠的呢?能不能有效落地实施呢?我们完全可以把这个想法通过A/B测试放在实际场景中检验,最后得出具有说服力的结论。正所谓大胆猜想,小心求证,不断调整,快速更迭

“实践”并不是件容易的事儿,真正去做的时候,还需要主动、耐心、有勇气。

与A/B测试相关的项目都可以主动参与。不管你是亲自做测试,还是观摩整个过程,这都是在学习积累。主动提出业务需求,主动尝试,只要去实践,肯定就有收获。

对“失败”多点耐心。这里的失败我是打引号的,你可能会觉得做完A/B测试后,只要没有把A/B测试中的变化在产品或业务中实施就算“失败”,不过我想告诉你的是,从实践数据来看,一大半的A/B测试中的变化最终都没有最终实施。在做测试的时候,我们肯定希望结果是显著的,但实际上,不显著的概率比较大。这就是期望与现实的落差。那这就算是失败吗?

在A/B测试领域显然不是这样的。每一次“失败”的测试,对我们来说都是宝贵的经验,你可能会从中发现从而改进测试设置、工程实施等方面的问题。哪怕测试结果真的不显著,也没关系,因为这也能帮我们排除不同的想法,减少给业务带来的潜在损失,从而让我们快速迭代到下一个想法中去。

要敢于提出自己的想法。我已经记不清有多少次我和同事、领导意见不一致时,A/B测试就成了我们解决问题的法宝。长此以往,也帮助我们在团队中形成了一种实验的氛围,大家越来越敢提出与别人不一样的想法和意见,而不是管理人员的一言堂。

你看,“实践是检验真理的唯一标准”中包含的朴素智慧,一旦和我们当下的生活、工作结合起来,是不是就有更生动、更丰富的理解了呢?这也正是我平时爱好历史的原因,前人的智慧总能历久弥新。

不过在今天课程结束之际,我还想给你分享更多我自己学习A/B测试的故事,聊一聊我的学习心得,希望能带给你一些启发和勉励。

第一个心得,搭建自己的知识框架,能让你的学习效率更高。

就拿我自己来说吧。我呢,其实并不是科班出身的数据从业者,所以想要在这一陌生领域有立足之地,术业有专攻,就要付出更多的努力。

举个小例子。为了搞清楚中心极限定理、P值、Power这些难懂的统计概念,我把各种版本的统计课本学了不下20遍。为了全面掌握数据科学方面的知识,就利用业余时间学习了将近10门与数据科学相关的网课。系统化的学习,给我打下了实践的坚实基础,实践中再遇到其他问题,我就知道怎么去搜索资料、寻找解决方法,而不会无从下手。

所以,这也是我想要做这门课的初衷。根据我多年积累的经验,系统总结A/B测试领域的经验和方法,帮助想要学习这个领域的人搭建一个知识框架,让你能够在短时间内获得非线性的突破。

第二个心得,学习要有目的,并且要把学到的知识及时应用到实践中,学以致用。

在学校期间的学习大都是为了学习而学习,工作后的学习就不同了,有目的的学习更能达到一举多得的效果。

我刚才谈到自己曾把统计课本学习了不下20遍,这只是相对系统的学习遍数,如果算上实际翻看的次数,那远不止百次了。因为我这个人呢,记性一般,纯知识性的东西一旦不常用就很容易忘记。所以统计书对我来说,就像小学学习语文时的《现代汉语词典》一样,平时用到了就去查,形成肌肉动作。

所以如果你学完这个课程,有些内容没能完全消化,没有关系,我希望你能把它当做你在A/B测试上的工具书,遇到棘手的问题就来翻看、学习,有问题也欢迎继续留言,我也会时不时地回复你的问题。

还想分享一个我做专栏的心得:文字输出是检验输入质量的重要标准。

在实践中丰富和完善的知识要怎么检验?文字输出就是一个很好的方式。这也是我在做专栏这几个月保持连续输出的一个重要心得。

这几年我会经常带学生做项目或者做讲座,但文字输出和“讲”是不一样的。脑海中把一个问题想清楚了,也能给别人讲出来,但要落到笔上,就得斟酌每一个细枝末节:全文是不是有逻辑、用词是不是够精准、例子是不是够恰当等等。这对文字表达、专业逻辑都是不小的磨练。

做专栏的文字输出,跟我平时写文章也不一样。写专栏文章,我需要去掉那些学术派的语言,调整粗糙的表达,力求用最简单明了的语言去讲清楚一个问题,同时还要考虑读者的阅读习惯等等。所以反复打磨的不仅是文字内容,还有对问题的周密思考。当然了,这对精力、意志力也都是考验。

我和A/B测试已经亲密相处了7年多,对我来说,它不仅是工作中的一种增长方法,在深入体会它的精妙之后,它代表的“实验意识”更成了我生活中的重要理念和原则。

当生活中偶遇迷茫找不准方向,或者面对未知的不确定心有焦虑时,我不会畏首畏尾,更不会退缩,而是大胆地去尝试。在考虑到可能的结果后,勇于试错。因为不亲自经历,我可能永远也不知道这件事对自己来说是好是坏。

就像过去的2020年,注定是个特别的年份,突如其来的疫情打乱了很多人在学习、生活和工作上的节奏。在这种生存与挑战、安稳与不确定的摇摆之间,不如把心里的思绪和想法,投放到实践中,从而突破自己内心的围城。

这也是我最后想与你共勉的:唯有步履不停,人生路上才能遇到更多的惊喜。

最后的最后,我也为你准备了调查问卷,题目不多,希望你可以花两分钟填一下。十分期待能听到你的反馈,说说你对这门课程的想法和建议。

精选留言

  • 贤者时间

    2021-01-12 11:07:52

    想问一个题外的问题,最近有个争论,就是短视频APP双栏好还是单页好,我在想,为什么快手平台不自己AB测试一下呢?测试结果应该是很显然的吧
    作者回复

    这个其实就是很重大的产品交互界面改变,就像我在第12节课中讲的,不太适合做AB测试,因为这个改变基本上是把UI完全改变,如果做AB测试的话太明显了,尤其是像快手这么大的流量,很容易就会成为争议话题,这种一般还是要通过用户研究来寻找答案。

    2021-01-16 07:47:56

  • 张浩_house

    2021-01-12 14:37:45

    平时做开发比较多,每篇文章都看了一看 ,还是有许多内容,许多概念没有消化。看到老师为了弄清楚一些概念,看了许多书、视频材料,有些还是十遍百遍的去翻阅,更加激励自己不要浅唱则止,看不懂、内容不清楚不要放弃,多发时间去重复学习、多思考多理解,不断尝试
    作者回复

    哈哈对重要内容要重复学习直到内化掌握为止!

    2021-01-16 08:01:40

  • 西西

    2021-08-14 15:53:04

    看到老师说“统计课本学习了不下 20 遍”又给了自己一些信心,每次看统计学的内容总是学了忘忘了学,一度怀疑自己不适合做这行,看来需要更努力吖
    作者回复

    我之前也经常有‘自己不适合做这行的怀疑’,不过后来发现只要肯花时间,没有什么是掌握不了的,加油!

    2021-08-31 08:22:40

  • 贤者时间

    2021-01-12 11:08:46

    老师有公众号或者知乎专栏吗?想去关注一下
    作者回复

    哈目前还没有,等有了再更新,目前可以关注我知乎:https://www.zhihu.com/people/zhang-bo-wei-19

    2021-03-02 07:49:41

  • 那时刻

    2021-01-14 10:00:16

    感谢老师的分享,收益颇多。老师提到的实践的确很重要,即使我们知道的坑点,感觉自己不会再踩坑了,但是一实践,往往会再次跌进去....
    作者回复

    踩坑不可怕,自己踩坑才能印象深刻,最怕的是踩坑了还不知道自己踩坑了,识别坑很重要!

    2021-01-16 10:50:41

  • Mr.Tree

    2023-06-25 08:41:59

    希望老师推荐一些关于数据科学的网络课程和书籍
  • AndyRF

    2023-05-11 16:58:11

    大胆猜想,小心求证,不断调整,快速更迭
  • 郑华筝

    2022-03-08 11:19:55

    博伟老师,请问你方便分享一下你所学习的10门数据科学相关课程的list吗~
    感恩!~
  • Elaine

    2021-10-20 14:33:15

    给产品经理提个建议,调查问卷手机号不能填国外手机号(虽然我不一定中奖,中了也收不到haha,但我想填反馈啊)。准备面试一家心仪的公司,JD赫然写着A/B test。 找了好多A/B资料都不是特别满意,这个还是我无意间在极客上翻到的,差点就错过了。看到老师说统计书看了20多遍,笑了。看来不是我一个人学了忘忘了学= = 还有极客的网页版加载时间真的太久了,请把加载时间作为护栏指标嘛。。。
  • Ed_Lee™

    2021-08-31 15:34:55

    满满的干货,感谢
  • Geek_30a04e

    2021-08-31 10:22:50

    老师,我们在做一个实验,降低因为A原因导致的取消率,我们拿了10个城市做实验,但是有2个城市就是一直不显著,其他城市都是显著的;而且这个2个城市是量级较大的城市,他各种原因的分布也是不稳定的;导致这种情况会有什么样的情况呢
  • Seiris

    2021-06-17 16:21:44

    感谢老师,我开始接触ab测试,很实用👍
    作者回复

    谢谢Seiris!
    很高兴本专栏能够帮到你,你觉得好的话也欢迎推荐给身边需要的人哈哈!

    2021-08-30 14:10:45

  • 雷大锤抡不动大锤

    2021-01-26 17:15:21

    能感受到博伟老师的用心~谢谢分享~
    作者回复

    谢谢大锤!
    也希望你能从本专栏中收获相关的知识和经验!

    2021-03-02 08:06:27