如何七周成为数据分析师

点击图片&＃xff0c;查看课程详情

作者&＃xff1a;秦路&＃xff0c;天善智能特约专家。资深数据分析师&＃xff0c;数据化运营专家。擅长结合运营和数据&＃xff0c;建立数据化运营体系。

个人公众号&＃xff1a;秦路&＃xff08;微信ID&＃xff1a;tracykanc&＃xff09;

写这个系列&＃xff0c;是希望在当初知乎某一个回答的基础上&＃xff0c;单独完善出针对互联网产品和运营们的教程。不论对数据分析或数据运营&＃xff0c;我都希望它是一篇足够好的教材。

得承认我有标题党之嫌&＃xff0c;更准确说&＃xff0c;这是一份七周的互联网数据分析能力养成提纲。

我会按照提纲针对性的增加互联网侧的内容&＃xff0c;比如网站分析&＃xff0c;用户行为序列等。我也不想留于表面&＃xff0c;而是系统性讲述。比如什么是产品埋点&＃xff1f;在获得埋点数据后&＃xff0c;怎么利用Python / Pandas的shift ( )函数将其清洗为用户行为session&＃xff0c;进而计算出用户在各页面的停留时间&＃xff0c;后续如何转换成统计宽表&＃xff0c;如何以此建立用户标签等。

这是一份入门到熟练的指南&＃xff0c;并不包含数据挖掘等高阶内容。可也足够让产品和运营们获得进步。

还有一点要&＃xff08;悲伤地&＃xff09;注明&＃xff0c;这是七周的学习时间&＃xff0c;不是我用七周就能写完。具体时间我也不知道&＃xff0c;幸好我从没公布微信号&＃xff0c;你们追杀不到我 (。・&＃96;ω´・)

如果Excel玩的顺溜&＃xff0c;你可以略过这一周。不过介于我入行时也不会vlookup&＃xff0c;所以有必要讲下。

重点是了解各种函数&＃xff0c;包括但不限于sum&＃xff0c;count&＃xff0c;sumif&＃xff0c;countif&＃xff0c;find&＃xff0c;if&＃xff0c;left/right&＃xff0c;时间转换等。

Excel函数不需要学全&＃xff0c;重要的是学会搜索。即如何将遇到的问题在搜索引擎上描述清楚。

我认为掌握vlookup和数据透视表足够&＃xff0c;是最具性价比的两个技巧。

学会vlookup&＃xff0c;SQL中的join&＃xff0c;Python中的merge很容易理解。

学会数据透视表&＃xff0c;SQL中的group&＃xff0c;Python中的pivot_table也是同理。

这两个搞定&＃xff0c;基本10万条以内的数据统计没啥难度&＃xff0c;80%的办公室白领都能秒杀。

Excel是熟能生巧&＃xff0c;多找练习题。还有需要养成好习惯&＃xff0c;不要合并单元格&＃xff0c;不要过于花哨。表格按照原始数据&＃xff08;sheet1&＃xff09;、加工数据&＃xff08;sheet2&＃xff09;&＃xff0c;图表&＃xff08;sheet3&＃xff09;的类型管理。

下面是为了以后更好的基础而附加的学习任务。

了解单元格格式&＃xff0c;后期的数据类型包括各类timestamp&＃xff0c;date&＃xff0c;string&＃xff0c;int&＃xff0c;bigint&＃xff0c;char&＃xff0c;factor&＃xff0c;float等。

了解数组&＃xff0c;以及怎么用&＃xff08;excel的数组挺难用&＃xff09;&＃xff0c;Python和R也会涉及到 list。

了解函数和参数&＃xff0c;当进阶为编程型的数据分析师时&＃xff0c;会让你更快的掌握。

了解中文编码&＃xff0c;UTF8和ASCII&＃xff0c;包括CSV的delimiter等&＃xff0c;以后你会回来感谢我的。

这一周的内容我会拆分成两部分&＃xff1a;函数篇和技巧篇。

这是一道练习题&＃xff0c;我给你1000个身份证号码&＃xff0c;告诉我里面有多少男女&＃xff0c;各省市人口的分布&＃xff0c;这些人的年龄和星座。如果能完成上述过程&＃xff0c;那么这一周就直接略过吧。&＃xff08;身份证号码规律可以网上搜索&＃xff09;

数据分析界有一句经典名言&＃xff0c;字不如表&＃xff0c;表不如图。数据可视化是数据分析的主要方向之一。除掉数据挖掘这类高级分析&＃xff0c;不少数据分析就是监控数据观察数据。

数据分析的最终都是要兜售自己的观点和结论的。兜售的最好方式就是做出观点清晰数据详实的PPT给老板看。如果没人认同分析结果&＃xff0c;那么分析也不会被改进和优化&＃xff0c;不落地的数据分析价值又在哪里&＃xff1f;

首先要了解常用的图表&＃xff1a;

Excel的图表可以100%完成上面的图形要求&＃xff0c;但这只是基础。后续的进阶可视化&＃xff0c;势必要用到编程绘制。为什么&＃xff1f;比如常见的多元分析&＃xff0c;你能用Excel很轻松的完成&＃xff1f;但是在IPython只需要一行代码。

其次掌握BI&＃xff0c;下图是微软的BI。

BI&＃xff08;商业智能&＃xff09;和图表的区别在于BI擅长交互和报表&＃xff0c;更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。

BI的好处在于很大程度解放数据分析师的工作&＃xff0c;推动全部门的数据意识&＃xff0c;另外降低其他部门的数据需求&＃xff08;万恶的导数据&＃xff09;。

BI市面上的产品很多&＃xff0c;基本都是建立仪表盘Dashboard&＃xff0c;通过维度的联动和钻取&＃xff0c;获得可视化的分析。

最后需要学习可视化和信息图的制作。

这是安&＃xff08;装&＃xff09;身&＃xff08;逼&＃xff09;立&＃xff08;加&＃xff09;命&＃xff08;薪&＃xff09;之本。这和数据本事没有多大关系&＃xff0c;更看重审美、解读、PPT、信息化的能力。但值得花一点时间去学习。

数据可视化的学习就是三个过程&＃xff0c;了解数据&＃xff08;图表&＃xff09;&＃xff0c;整合数据&＃xff08;BI&＃xff09;&＃xff0c;展示数据&＃xff08;信息化&＃xff09;。

这周轻松一下&＃xff0c;学学理论知识。

好的数据分析首先要有结构化的思维&＃xff0c;也就是我们俗称的金字塔思维。思维导图是必备的工具。

之后再了解SMART、5W2H、SWOT、4P理论、六顶思考帽等框架。这些框架都是大巧不工的经典。

分析也是有框架和方法论的&＃xff0c;我会主要围绕三个要点展开&＃xff1a;

一个业务没有指标&＃xff0c;则不能增长和分析&＃xff1b;

好的指标应该是比率或比例&＃xff1b;

好的分析应该对比或关联。

举一个例子&＃xff1a;我告诉你一家超市今天有1000人的客流量&＃xff0c;你会怎么分析&＃xff1f;

这1000人的数量&＃xff0c;和附近其他超市比是多是少&＃xff1f;&＃xff08;对比&＃xff09;

这1000人的数量比昨天多还是少&＃xff1f;&＃xff08;对比&＃xff09;

1000人有多少产生了实际购买&＃xff1f;&＃xff08;转化比例&＃xff09;

路过超市&＃xff0c;超市外的人流是多少&＃xff1f;&＃xff08;转化比例&＃xff09;

这是一个快速搭建分析框架的方法。如果只看1000人&＃xff0c;是看不出分析不出任何结果。

优秀的数据分析师会拷问别人的数据&＃xff0c;而他本身的分析也是经得起拷问&＃xff0c;这就是分析思维能力。需要确切明白的是&＃xff0c;一周时间锻炼不出数据思维&＃xff0c;只能做到了解。数据思维是不断练习的结果&＃xff0c;我只是尽量缩短这个过程。

Excel对十万条以内的数据处理起来没有问题&＃xff0c;但是互联网行业就是不缺数据。但凡产品有一点规模&＃xff0c;数据都是百万起。这时候就需要学习数据库。

越来越多的产品和运营岗位&＃xff0c;会在招聘条件中&＃xff0c;将会SQL作为优先的加分项。

SQL是数据分析的核心技能之一&＃xff0c;从Excel到SQL绝对是数据处理效率的一大进步。

学习围绕Select展开。增删改、约束、索引、数据库范式均可以跳过。

主要了解where&＃xff0c;group by&＃xff0c;order by&＃xff0c;having&＃xff0c;like&＃xff0c;count&＃xff0c;sum&＃xff0c;min&＃xff0c;max&＃xff0c;distinct&＃xff0c;if&＃xff0c;join&＃xff0c;left join&＃xff0c;limit&＃xff0c;and和or的逻辑&＃xff0c;时间转换函数等。

如果想要跟进一步&＃xff0c;可以学习row_number&＃xff0c;substr&＃xff0c;convert&＃xff0c;contact等。另外不同数据平台的函数会有差异&＃xff0c;例如Presto和phpMyAdmin。

再有点追求&＃xff0c;就去了解Explain优化&＃xff0c;了解SQL的工作原理&＃xff0c;了解数据类型&＃xff0c;了解IO。以后就可以和技术研发们谈笑风生&＃xff0c;毕竟将“这里有bug”的说话&＃xff0c;换成“这块的数据死锁了”&＃xff0c;逼格大大的不同。

SQL的学习主要是多练&＃xff0c;网上寻找相关的练习题&＃xff0c;刷一遍就差不多了。

很遗憾&＃xff0c;统计知识也是我薄弱的地方&＃xff0c;可这是数据分析的基础。

我看过很多产品和运营相关的数据分析文章&＃xff0c;没有多少提及统计知识。这是不严谨的。

比如产品的AB测试&＃xff0c;如果产品经理并不清楚置信度的含义和概念&＃xff0c;那么好的效果并不意味着真正的好。尤其是5%这种非显著的提高。

比如运营一次活动&＃xff0c;运营若不了解检验相关的概念&＃xff0c;那么如何去判别活动在数据上是有效果还是没有效果&＃xff1f;别说平均数。

再讨论一下经典的概率问题&＃xff0c;如果一个人获流感&＃xff0c;实验结果为阳性的概率为90%&＃xff1b;如果没有获流感&＃xff0c;实验结果为阳性的概率为9%。现在这个人检验结果为阳性&＃xff0c;他有多少几率是得了流感&＃xff1f;

如果你觉得几率有50%、60%、70%等等&＃xff0c;那么都犯了直觉性的错误。它还和得病的基础概率有关。

统计知识会教我们以另一个角度看待数据。如果大家了解过《统计数据会撒谎》&＃xff0c;那么就知道很多数据分析的决策并不牢靠。

我们需要花一周的时间掌握描述性统计&＃xff0c;包括均值、中位数、标准差、方差、概率、假设检验、显著性、总体和抽样等概念。

不需要学习更高阶的统计知识&＃xff0c;谁让我们是速成呢。只要做到不会被数据欺骗&＃xff0c;不犯错误就好。

以Excel的分析工具库举例&＃xff08;图片网上找来&＃xff09;。在初级的统计学习中&＃xff0c;需要了解列1的各名词含义&＃xff0c;而不是停留在平均数这个基础上。

“

第六周&＃xff1a;业务知识&＃xff08;用户行为、产品、运营&＃xff09;

这一周需要了解业务。对于数据分析师来说&＃xff0c;业务的了解比数据方法论更重要。当然很遗憾&＃xff0c;业务学习没有捷径。

我举一个数据沙龙上的例子&＃xff0c;一家O2O配送公司发现在重庆地区&＃xff0c;外卖员的送货效率低于其他城市&＃xff0c;导致用户的好评率降低。总部的数据分析师建立了各个指标去分析原因&＃xff0c;都没有找出来问题。后来在访谈中发觉&＃xff0c;因为重庆是山城&＃xff0c;路面高低落差比较夸张&＃xff0c;很多外卖人员的小电瓶上不了坡…所以导致送货效率慢。

这个案例中&＃xff0c;我们只知道送货员的送货水平距离&＃xff0c;即POI数据&＃xff0c;根本不可能知道垂直距离的数据。这就是数据的局限&＃xff0c;也是只会看数据的分析师和接地气分析师的最大差异。

对业务市场的了解是数据分析在工作经验上最大的优势之一。不同行业领域的业务知识都不一样&＃xff0c;我就不献丑了。在互联网行业&＃xff0c;有几个宽泛的业务数据需要了解。

产品数据分析&＃xff0c;以经典的AAARR框架学习&＃xff0c;了解活跃留存的指标和概念&＃xff08;这些内容&＃xff0c;我的历史文章已经涉及了部分&＃xff09;。

并且数据分析师需要知道如何用SQL计算。因为在实际的分析过程中&＃xff0c;留存只是一个指标&＃xff0c;通过userId 关联和拆分才是常见的分析策略。

网站数据分析&＃xff0c;可以抽象吃一个哲学问题&＃xff1a;
用户从哪里来&＃xff08;SEO&＃xff0f;SEM&＃xff09;&＃xff0c;用户到哪里去&＃xff08;访问路径&＃xff09;&＃xff0c;用户是谁&＃xff08;用户画像&＃xff0f;用户行为路径&＃xff09;。

虽然网站已经不是互联网的主流&＃xff0c;但现在有很多APP&＃43;Web的复合框架&＃xff0c;朋友圈的传播活动肯定需要用到网页的指标去分析。

用户数据分析&＃xff0c;这是数据化运营的一种应用。

在产品早期&＃xff0c;可以通过埋点计算转化率&＃xff0c;利用AB测试达到快速迭代的目的&＃xff0c;在积累到用户量的后期&＃xff0c;利用埋点去分析用户行为&＃xff0c;并且以此建立用户分层用户画像等。

例如用贝叶斯算法计算用户的性别概率&＃xff0c;用K聚类算法划分用户的群体&＃xff0c;用行为数据作为特征建立响应模型等。不过快速入门不需要掌握这些&＃xff0c;只需要有一个大概的框架概念。

除了业务知识&＃xff0c;业务层面的沟通也很重要。在业务线足够长的时候&＃xff0c;我不止一次遇到产品和运营没有掌握所有的业务要点&＃xff0c;尤其涉及跨部门的分析。良好的业务沟通能力是数据分析的基础能力。

终于到第七周&＃xff0c;也是最痛苦的一周。这时应该学习编程技巧。

是否具备编程能力&＃xff0c;是初级数据分析和高级数据分析的风水岭。数据挖掘&＃xff0c;爬虫&＃xff0c;可视化报表都需要用到编程能力&＃xff08;例如上文的多元散点图&＃xff09;。掌握一门优秀的编程语言&＃xff0c;可以让数据分析师事半功倍&＃xff0c;升职加薪&＃xff0c;迎娶白富美。

以时下最热门的R语言和Python为学习支线&＃xff0c;速成只要学习一条。

我刚好两类都学过。R的优点是统计学家编写的&＃xff0c;缺点也是统计学家编写。如果是各类统计函数的调用&＃xff0c;绘图&＃xff0c;分析的前验性论证&＃xff0c;R无疑有优势。但是大数据量的处理力有不逮&＃xff0c;学习曲线比较陡峭。Python则是万能的胶水语言&＃xff0c;适用性强&＃xff0c;可以将各类分析的过程脚本化。Pandas&＃xff0c;SKLearn等各包也已经追平R。

学习R&＃xff0c;需要了解数据结构&＃xff08;matrix&＃xff0c;array&＃xff0c;data.frame&＃xff0c;list等&＃xff09;、数据读取&＃xff0c;图形绘制( ggplot2)、数据操作、统计函数(mean,median,sd,var,scale等)。高阶的统计暂时不用去涉及&＃xff0c;这是后续的学习任务。

R语言的开发环境建议用RStudio。

学习Python有很多分支&＃xff0c;我们专注数据分析这块。需要了解调用包、函数、数据类型(list,tuple,dict)&＃xff0c;条件判断&＃xff0c;迭代等。高阶的Numpy和Pandas在有精力的情况下涉及。

Python的开发环境建议Anaconda&＃xff0c;可以规避掉环境变量、包安装等大部分新手问题。Mac自带Python2.7&＃xff0c;但现在Python 3已经比几年前成熟&＃xff0c;没有编码问题&＃xff0c;就不要抱成守旧了。

对于没有技术基础的运营和产品&＃xff0c;第七周最吃力&＃xff0c;虽然SQL&＃xff0b;Excel足够应付入门级数据分析&＃xff0c;但是涉及到循环迭代、多元图表的分析部分&＃xff0c;复杂度就呈几何上升。更遑论数据挖掘这种高阶玩法。

我也相信&＃xff0c;未来了解数据挖掘的产品和运营会有极强的竞争力。

到这里&＃xff0c;刚刚好是七周。如果还需要第八周&＃43;&＃xff0c;则是把上面的巩固和融会贯通&＃xff0c;毕竟这只是目的性极强的速成&＃xff0c;是开始&＃xff0c;而不是数据分析的毕业典礼。

最后还需要补充&＃xff0c;如果希望数据分析能力更近一步&＃xff0c;或者成为优秀的数据分析师&＃xff0c;每一周的内容都能继续学习至精通。实际上&＃xff0c;业务知识、统计知识仅靠两周是非常不牢固的。

再往后的学习&＃xff0c;会有许多分支。比如偏策划的数据产品经理&＃xff0c;比如偏统计的机器学习&＃xff0c;比如偏商业的市场分析师&＃xff0c;比如偏工程的大数据工程师。

END    

今日

爆款