你好，我是陈旸，清华大学计算机系博士毕业。清华有一门课，叫数据挖掘，正是通过这门课，我学会了如何从海量的数据中找到关联关系，以及如何进行价值挖掘。那时候感觉自己掌握了一门利器，就特别想找到一个钉子，来试试自己手里的这把锤子。
当时恰好赶上2009年微博的热潮。我用3个月的时间就积累了4万粉丝，一年的时间积累了上百万粉丝。这是怎么做到的呢？
通过数据采集，我收集了每天的微博热点，然后对热点进行抓取、去广告，再让机器定时自动进行发布。同时我让账号每天都去关注明星的粉丝列表，这样可以获得15%的回粉概率。久而久之，就会有源源不断的粉丝。
你看，其实就是数据分析帮我做到了微博的自动化运营。这还只是一个小例子，数据分析的影响已经渗透到了我们工作生活的方方面面。
-
通过数据分析，我们可以更好地了解用户画像，为企业做留存率、流失率等指标分析，进而精细化产品运营。
-
如果你关注比特币，数据分析可以帮助你预测比特币的走势。
-
面对生活中遇到的种种麻烦，数据分析也可以提供解决方案，比如信用卡反欺诈，自动屏蔽垃圾邮件等。
可以说，我们生活在数据驱动一切的时代，数据挖掘和数据分析就是这个时代的“淘金”，从国家、企业、组织到个人，都一定会关注各种数据，从这些数据中得到价值。
也正是这个原因，数据分析人才成了香饽饽，不管是数据分析师，数据分析工程师，还是数据产品经理，有数据思维的运营人员，都变得越来越抢手。你是不是也已经摩拳擦掌，做好了了解这一领域的准备呢？
我想在接下来的15周时间里，把自己在清华学习数据挖掘的体会和工作实践中对数据分析的理解，重新梳理整合呈现给你，和你一起在数据分析这个领域来一场急行军。
说了这么多数据分析的重要性，你是不是有这样的疑问：我也知道数据分析能力很重要，但是数据分析是不是很难？到底该怎么学呢？
其实这里有一些误区，数据分析并非遥不可及，它不难，掌握高效的学习方法很重要；但是它也不简单，需要你耐下性子，跟我一起来慢慢掌握数据分析的核心知识点和工具操作。
我招聘过一个实习生，很普通的本科学校。最开始他只会简单的PHP语法，实习期间薪水也就只有3000元，但到后来他不仅可以做爬虫抓取，还可以做数据分析，薪水就涨到了税后1.3万，这个进步用了不到一年的时间。
他的成长速度非常快，这是怎么做到的呢？
总结一下，就是他找到了高效的学习方法，我把它称为MAS方法。
-
Multi-Dimension：想要掌握一个事物，就要从多个角度去认识它。
-
Ask：不懂就问，程序员大多都很羞涩，突破这一点，不懂就问最重要。
-
Sharing：最好的学习就是分享。用自己的语言讲出来，是对知识的进一步梳理。
所以学习这个专栏我们也用MAS方法，我来负责你和数据分析建立起多维度连接，你来负责提问和分享。
怎么和数据分析建立多维度连接呢？我特意把内容分成了三个大类。
-
第一类是基础概念。这是我们学习的基础，一定不能落下。
-
第二类是工具。这个部分可以很好地锻炼你的实操能力。
-
第三类是题库。题库的作用是帮你查漏补缺，在这个过程中，你会情不自禁地进行思考。
这个连接的过程，也是我们从“思维”到“工具”再到“实践”的一个突破过程。如果说重要性，一定是“思维”最重要，因为思维是底层逻辑和框架，可以让我们一通百通，举一反三，但是思维修炼也是最难的。所以，我强调把学习重心放在工具和实践上，即学即用，不断积累成就感，思维也就慢慢养成了。
说到底，学习数据分析的核心就是培养数据思维，掌握挖掘工具，熟练实践并积累经验。为了能带给你更好的学习效果，我在专栏里设计了五大模块。
1. 预习篇
我会给你介绍数据分析的全景图，和你进一步探讨最佳的学习路径。我还专门准备了3篇Python入门内容，如果你还没有Python基础，希望能帮你快速上手，如果你已掌握了Python，可以当作一个复习。这么安排是因为Python是数据科学领域当之无愧的王牌语言，很多数据分析利器也是基于Python的（再或者，你也可以购买极客时间上的“零基础学Python”视频课程）。
2. 基础篇
我会带你修炼数据思维，从数据分析的基础概念，到数据采集、数据处理以及数据可视化。我们一起从数据准备的整个流程上了解数据的方方面面。
3. 算法篇
算法是数据挖掘的精华所在，也是我们专栏的重点内容。我精选了10大算法，包括分类、聚类和预测三大类型。每个算法我们都从原理和案例两个维度来理解，达到即学即用的目的。
4. 实战篇
项目实战是我们学习的一个重要关卡。我准备了5个项目带你真实体验。比如在金融行业中，如何使用数据分析算法对信用卡违约率进行分析？现在的互联网产品都进入到千人千面的人工智能阶段，如何针对一个视频网站搭建视频推荐算法？
5. 工作篇
我选择了几个大家最关心的职场问题，比如面试时注意什么，职位晋升路径是怎样的等等，助你一臂之力。
我希望，通过这个专栏，你将有如下收获。
1. 数据和算法思维
这不仅是在技术上的思维模式，更是我们平时看待问题解决问题的思维方式。如果你将数据视为财富，将数据分析视为获得财富的工具，那么在大数据时代，你将获得更宽广的视野。
2. 工具
用好工具，你将拥有收集数据、处理数据、得到结果的能力，它会让你在工作中游刃有余。
3. 更好的工作机会和价值
无论是当前火爆的人工智能，还是数据算法工程师的市场，都很看重数据分析和数据处理的能力。从“思维”到“工具”再到“实践”，沿着这个路径拓展自己的能力边界，拥有更强的竞争力。
在你面前，即将开始一场数据科学之旅。我们一起用15周的时间，从算法原理、分析工具和实战案例三个维度体会数据科学之美。
在专栏学习的过程中，如果你遇到问题，不论是概念不懂，还是工具使用遇到error，你都可以来找我。也希望你可以把自己的学习笔记分享出来，它不仅是最好的自我学习方法，也是最好的交流语言。
我愿意跟你一起，将这些看似“高大上”的内容琢磨得通俗易懂。当你完成这段旅程，你将会发现这个世界从来不缺少“石油”，而它们，正在等着你的勘探。
正式启程之前，我想邀请你聊聊自己对课程的期待，你如何看待数据挖掘和数据分析？你的工作和生活中有什么事情用到过数据思维吗？
精选留言
2018-12-17 18:10:23
2018-12-17 17:58:57
2018-12-19 17:02:51
2018-12-17 19:36:13
2018-12-17 20:20:50
2018-12-17 18:24:49
1. 如何做好“特征工程”，没有思路，也没有思考方向，看了不少博客，所谓的技巧也都知道了，但遇到问题还是用不好；
2. 对于样本类别不均衡的问题，不会处理，尝试过下采样或过采样，但似乎改变了样本原本的分布，效果不太好；
3. 对各种机器模型输出的结果没有把控能力，搞不懂为何有时效果好，有时效果却很差。
因为没有人带，自学感觉很迷茫，希望能跟随这门课程提升自己应用能力。
另外，想请教一下老师，为了能更好地掌握经典的机器学习算法，有没有必要自己实现一遍？
2018-12-19 12:54:09
2018-12-17 20:44:33
2018-12-17 17:48:20
2018-12-17 21:47:54
随着工作的开展，发现自己的基础不扎实、知识过于分散，同时缺乏数据的解读能力，目之所及即是思想的极限。
读完文章和留言已非常有收获，感谢。
2018-12-19 20:55:12
1. 理解每节课中讲到的概念
2. 重复文章中的代码示例
3. 自己根据已经学到的内容再进行拓展学习
Ask:
1. Google
2. stack overflow
3. 留言提问
Sharing：
1. 把每节课所学整理成笔记在留言里分享
2018-12-17 20:42:09
2018-12-26 18:25:53
如何执行:从现在开始，每一篇我都会做笔记。
我觉得，
数据挖掘是根据业务知识，搜索并找到自己的数据，然后根据算法整理分类数据。
数据分析是根据业务知识，取出数据挖掘整理出来的数据，然后进行可视化分析。
两者都需要理解业务知识，但是数据分析对业务能力要求较高，而数据挖掘对技术、算法较高。
描绘事情的时候，在生活中经常会说，大概、左右、上下、很好，这种不确定且主观的词语，其实我更想，习惯把这些定性的事物定量描述。
2018-12-18 09:17:09
2018-12-17 22:30:48
2018-12-17 19:37:30
2018-12-17 17:54:29
2018-12-25 22:27:05
2018-12-18 15:54:10
2018-12-17 20:15:22