关于数据分析那些事,看这一文章就够了

一：那到底什么是数据分析呢？数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

1、明确分析目的与框架

一个分析项目，你的数据对象是谁？商业目的是什么？要解决什么业务问题？数据分析师对这些都要了然于心。

基于商业的理解，整理分析框架和分析思路。例如，减少新客户的流失、优化活动效果、提高客户响应率等等。不同的项目对数据的要求，使用的分析手段也是不一样的。

2、数据收集

数据收集是按照确定的数据分析和框架内容，有目的的收集、整合相关数据的一个过程，它是数据分析的一个基础。

3、数据处理

数据处理是指对收集到的数据进行加工、整理，以便开展数据分析，它是数据分析前必不可少的阶段。这个过程是数据分析整个过程中最占据时间的，也在一定程度上取决于数据仓库的搭建和数据质量的保证。

数据处理主要包括数据清洗、数据转化等处理方法。
4、数据分析

数据分析是指通过分析手段、方法和技巧对准备好的数据进行探索、分析，从中发现因果关系、内部联系和业务规律，为商业目提供决策参考。

到了这个阶段，要能驾驭数据、开展数据分析，就要涉及到工具和方法的使用。其一要熟悉常规数据分析方法，最基本的要了解例如方差、回归、因子、聚类、分类、时间序列等多元和数据分析方法的原理、使用范围、优缺点和结果的解释；其二是熟悉1+1种数据分析工具，Excel是最常见，一般的数据分析我们可以通过Excel完成，后而要熟悉一个专业的分析软件，如数据分析工具SPSS/SAS/R/Matlab等，便于进行一些专业的统计分析、数据建模等。

5、数据展现

一般情况下，数据分析的结果都是通过图、表的方式来呈现，俗话说：字不如表，表不如图。。借助数据展现手段，能更直观的让数据分析师表述想要呈现的信息、观点和建议。。

常用的图表包括饼图、折线图、柱形图/条形图、散点图、雷达图等、金字塔图、矩阵图、漏斗图、帕雷托图等。

6、撰写报告
最后阶段，就是撰写数据分析报告，这是对整个数据分析成果的一个呈现。通过分析报告，把数据分析的目的、过程、结果及方案完整呈现出来，以供商业目的提供参考。

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

另外，数据分析报告需要有明确的结论、建议和解决方案，不仅仅是找出问题，后者是更重要的，否则称不上好的分析，同时也失去了报告的意义，数据的初衷就是为解决一个商业目的才进行的分析，不能舍本求末。

二：数据分析师职业介绍

做数据分析前我们首先要明确分析目的和内容，对于数据分析师而言，他们的进阶需求无外乎是各个企业对数据分析师的职位要求。在前程无忧、中华英才网以及智联招聘上，我们随便搜索下数据分析的岗位信息，都能找到大量类似于下面的一些职位要求信息：

别看岗位职责，任职要求这么多，说白了主要就三点要求：1）对相关业务的理解；2）掌握一到二种数据分析工具；3）良好的沟通。可能不同的公司因为需求不同，会在要求上有点小小的不同，而这个不同主要集中在数据库上。了解数据分析师的具体需求之前，我们有必要先了解数据分析师的职位体系。

数据分析师的职位体系

在传统行业中，数据分析更多存在移动、银行、超市等行业，在这些行业中你才会偶尔听到数据分析师这个职位，也许更多是听到数据挖掘工程师、数据建模师。在中国也许只在电信的项目中，才会存在真正的意义上的数据挖掘。

数据行业从广义上讲可以分为以下几个职位：

1、数据分析师

更注意是对数据、数据指标的解读，通过对数据的分析，来解决商业问题。主要有以下几个次层次：
1）业务监控：诊断当前业务是否正常？是否存在问题？业务发展是否达到预期（KPI）？如果没有达到预期，问主要问题在哪？是什么原因引起的？
2）建立分析体系：这些数据分析师已经对业务有一定的理解，对业务也相对比较熟悉，更多帮业务方建立一套分析体系，或者更高级是做成数据产品。例如：营销活动。分析师会告诉业务方，在活动前你应该分析哪些数据，从而制定恰当的营销计划。在营销过程中，你应该看哪些数据，从而及时做出营销活动调整。在营销活动，应该如何进行活动效果评估。
3）行业未来发展的趋势分析：这应该是数据分析师最高级别，有的公司叫做战略分析师/商业分析师。这个层次的数据分析师站的更高，在行业、宏观的层面进行业务分析，预测未来行业的发展，竞争对手的业务构成，帮助公司制定战略发展计划，并及时跟踪、分析市场动态，从而及时对战略进行不断优化。

主要技能要求：

数据库知识（SQL至少要熟悉）、基本的统计分析知识、EXCEL要相当熟悉，对SPSS或SAS有一定的了解，对于与网站相关的业务还可能要求掌握GA等网站分析工具，当然PPT也是必备的。

2、数据挖掘工程师

更多是通过对海量数据进行挖掘，寻找数据的存在模式、或者说规律，从而通过数据挖掘来解决具体问题。数据挖掘更多是针对某一个具体的问题，是以解决具体问题为导向的。例如：聚类分析，通过对于会员各种人口统计学、行为数据进行分析，对会员进行分类，对不同的类型的会员建立相应的profiling，从而更好的理解会员，知道公司会员是到底如何？高、中、低低价值的会员构成，既可以后期各种会员的运营提供指导，提高活动效率，可以指导公司的营销，例如广告的投放策略。以及用于公司各种战略的制定。
主要技能要求：
1）数据库必须精通。很多时候，你模型的数据预处理，可能完成在数据库里完成，你用到的数据库技巧更高。

2）必须要会成熟的数据挖掘工具、数据挖掘算法，例如：SPSS/CELEMENTINE、SAS/EM等，当然如果你会一、二款开源软件，并会写一些程序代码那是最好的，大公司都喜欢用开源的软件，例如：R、WEKA。

3、数据建模师

这个职位与数据挖掘工程师还是有本质区别的。数据建模师，更多偏向于中、小数据量，而且其使用更多更多是统计学的方法，而数据挖掘中的例如：决策树、神经网络、SVM等在这里是根据不会涉及的。
当然二者有一个共同之处都是，针对很具体的问题，都是会解决某个具体问题，例如：营销反应率，你就可能历史的邮箱、短信的反应情况，来建模型进行预测，从而提高邮件反应率，或者减少对用户来说的“垃圾”邮箱，提高用户体验。所以从掌握的技能上讲，这二者就有很大的区别，数据建模师其实很少会提到算法这个词，更多说使用什么模型，有感觉吗？但是从实务界来看，这二个模型越来越没有明确的分工，一般来说都会二个职位的人都会去学习对方的知识，所以这二个职位有合并的趋势，但在未来几年来，我觉得公司要招人的时候应该还是要有区别的。

新进入数据行业的同学，可以根据自己的背景背景选择相应的职位，学数据、统计学的朋友更多可以偏向于建模师，而计算机特别是写编程出现和同学，可以走数据挖掘工程师，也许适应性更好，但这不是绝对的。

数据分析师的职位级别划分

不同公司对数据分析师的职位划分骚有不同，在一些中小型企业，没有成立独立的数据中心前，数据分析的相关职位往往是在譬如市场部、运营部这些部门之下，通常数据分析成员在2-4人不等。对于一些大型企业，有独立的数据部门的企业，其数据分析团队人员则是十到百人不等，其职位头衔有通俗的总监、经理、主管划分，也有助理、资深、专家之类的划分。下面是一张微博上传的比较火的某集团的数据分析师职位级别划分图表，大家可根据自身的情况对号入座。

三：数据分析职业生涯规划

按照不同分析方法所能给人带来的智能程度，可以把分析能力划分为以下8个等级。

数据分析师的级别

1、数据跟踪员：机械拷贝看到的数据，很少处理数据

虽然这个工作的人还不能称作数据分析师，但是往往作这样工作的人还都自称是数据分析师，这样的人，只能通过×××系统看到有限的数据，并且很少去处理数据，甚至不理解数据的由来和含义，只是机械的把自己看到的数据拷贝出来，转发给相应的人。这类人发出来的数据，是否有意义，怎么解读，他自己是不知道的，只能期望收到数据的人了。

2、数据查询员/处理员：数据处理没问题，缺乏数据解读能力

这些人可以称为分析师了，他们已经对数据有一定的理解了，对于大部分数据，他们也知道数据的定义，并且可以通过监控系统或者原始的数据，处理得到这些数据。统计学的方法，这批人还是很精通的，统计学的工具，他们也是用起来得心应手，你让他们做一下因子分析，聚类肯定是没问题，各类检验也是用的炉火纯青。他们的不足是：1、如果不告诉他们命题，那么他们就不知道该应用什么样的方法去得到结论了。2、对于数据的处理没问题，但是却没有一个很好的数据解读能力。只能在统计学的角度上解释数据。

3、数据分析师：解读数据，定位问题提出答案

数据分析师这群人，对于数据的处理已经不是问题了，他们的重点已经转化到怎么样去解读数据了，同样的数据，在不同人的眼中有不一致的内容。好的数据分析师，是能通过数据找到问题，准确的定位问题，准确的找到问题产生的原因，为下一步的改进，找到机会点的人。往往科班出身的人，欠缺的不是在处理数据上，而是在解读数据上，至于将数据和产品结合到一起，则是其更缺少的能力了。

4、数据应用师：将数据还原到产品中，为产品所用

数据应用，这个词很少被提到。但是应用数据被提的很多，分析了大量的数据，除了能找到问题以外，还有很多数据可以还原到产品中，为产品所用。典型的是在电子商务的网站中，用户的购买数据，查看数据和操作的记录，往往是为其推荐新商品的好起点，而数据应用师就是要通过自己的分析，给相应的产品人员一个应该推荐什么产品，购买的可能性会最大的一个结论。国内能做到这个级别的数据人员还真是少的可怜，甚至大部分人员连数据的视图都搞不定，而真正意义上的能数据应用师，可以用数据让一个产品变得更加地简单高效。

5、数据规划师：走在产品前面，让数据有新的价值方向

数据规划师，不能说水平上比数据应用师高多少，而是另外一个让数据有价值的方向。往往在实际的应用中，数据都是有其生命周期的，用来分析、应用的数据也是，这点上，尤其是在互联网公司更加明显，一个版本的更新，可能导致之前的所有数据都一定程度的失效。数据规划师在一个产品设计之前，就已经分析到了，这个产品应该记录什么样的数据，这些数据能跟踪什么问题，哪些记录到的数据，应该可以用到数据中去，可以对产品产生什么样的价值。

四：数据分析薪酬情况

数据分析相关职位在企业当中，同级别，相比运营等要高20%左右，这里以BAT整体薪酬情况，为大家作一下参考。

三大互联网巨头公司，百度腾讯跟阿里如何划分级别?薪资待遇又有多少?除非身居其位，否则很难探知，但是等你到那个位置知道了，却又不能说，至少不能在公开场合谈论。接下来就为大家揭秘，百度、阿里与腾讯内部的级别划分跟薪资待遇。这是一个群众喜闻乐见却又讳莫如深的话题。

各个公司头衔名字都不一样，级别的数目也不一样;有些扁平，有些很多level慢慢升;有些薪水范围严格跟级别挂钩，有些薪水跟级别没绝对的关系。最近刚好整理了一份「互联网公司薪酬体系架构」内部资料，年底了，上年货，哦不，上部分干货。

阿里

最近对阿里羡慕嫉妒恨的同学可不少，知乎上也开起了对阿里的批斗会--2014 年放弃阿里巴巴 offer 的人是否格外多?--个么，就重点先说说阿里吧!

1. 举个栗子。校招不论，单说社招。想知道阿里内部级别和薪资待遇的题主，或许正面临offer选择，就像这位纠结阿里系offer的同学W：

最近刚通过面试，但基本薪酬也是不升反小降。 级别只有P6+，连P7都没有，非常郁闷，打算拒绝算了。小本工作9年了，这算不算loser ?

奇了怪了，阿里系的P6和P7的范围到底是多少?

不过反过来说，阿里系面试还真是有点深度的，通过不易，但拿到这个级别总感觉是否自已混的太一般了。

郁闷。

这样的纠结实在太常见了，都是工作好几年的老程序员了，好不容易动心跳个槽，猎头开始保证得好好的，怎么拿到offer的薪酬却不尽如人意?是自己能力不够，还是被HR/猎头忽悠?

专心做技术的大都是心思单纯之人，却最容易吃亏。知己知彼方可百战不殆，看看对方的级别和待遇，谋定而后动，才能跳得更远，走得更稳。

2. 先看阿里的级别定义：

P序列=技术岗 M序列=管理岗

阿里的非管理岗分为10级

其中P6、P7、P8需求量最大，也是阿里占比最大的级别

前面栗子中郁闷的W同学拿到了P6+的offer，正处于最庞大但又最尴尬的级别中段，至于为什么差一点儿没拿到P7，难道是HR在省招聘费?

3. 再看阿里的级别对应薪资：

•阿里薪资结构：一般是12+1+3=16薪

•年底的奖金为0-6个月薪资，90%人可拿到3个月

•股票是工作满2年才能拿，第一次拿50%，4年能全部拿完

说到股票，真是要普及下常识，别被忽悠了。股票是公司用来奖励员工忠诚度的，所以阿里分年限行权，想要离职套现真的是难。更不要高额的税收了，首先，归属要收高达45%的个税，然后得到的还是限制性股票，还不能马上卖呢。好不容易可以出售的时候，还得交20%股票增值部分的个人所得税哦!

更重要的是，你必须先缴税，才能归属，缴税还必须用现金，不能sell to cover!So，拿的越多，先拿出的cash就越多，这里面的流动性风险你自己权衡吧。

百度

再说说级别分层和阿里类似的百度

1. 百度的技术级别：

百度有4万人，每年招聘应届生技术产品人员1000人左右，技术岗位级别和阿里类似，分为T序列12级，不赘述了，大概阿里的级别减1或2，就是百度的级别。

•主要集中在T5/T6，升T7很困难，T7升T8更困难;T7以上一般就不做coding了

•一般来说，在百度待3年能给到T5，很多人都等不到三年，原因下面说，社招过来的，一般是外面公司的技术骨干了

•T10是技术总监，十个左右;T11是首席科学家;T12基本没见过。

2. 再看百度薪资的大概范围：

•百度薪资结构：月薪*14.6(12+0.6+2),其他岗位月薪*14

•T5以上为关键岗位，另外有股票、期权

•T5、T6占比最大的级别，T8、T9占比最小

•级别越高，每档之间的宽幅越大

百度是一家业务定性，内部稳定，金字塔形的成熟公司。也就是说，大部分事情都是按部就班、驾轻就熟，所有人都比较轻松、稳定、舒服，尤其是对老员工而言。但是对于新员工来说，这意味着成长空间的极度压缩，机会少，上升慢。

百度工资高，福利好，但是这么多年期权已经基本发光了，只有总监以上才有，几十股几百股就算多了。问题就来了，百度新老员工的期权数量太悬殊，据说到百度楼下停车场一看，开卡宴的都是老员工，开捷达的都是新员工，其实很多新员工的贡献比老员工大得多，但是收入反而倒挂，于是很多新人等不到3年就跳了。

腾讯

谈谈最南边的腾讯

1. 腾讯的技术级别：

腾讯的分级和阿里/百度都不一样，分为T1/T2/T3/T4共4级，其中又细分为3级。

•员工仍然集中在中段，尤其是 T2.3 和 T3.1

•想从T2跨到T3，即从2.3升3.1是非常困难的

2. 了解薪酬和级别的关系：

• 腾讯标准薪资是14薪，但是通常能拿到16-20薪

• T3.1以上开始另外有股票

值得一提的是，腾讯是有淘汰制考核的。一般一年两次考核(6月、12月)，实行末尾淘汰制，0-10%优秀，必须有5%的人转组(转组也可能出现没人接收的情况)或者被开除，这点比较狠。

升级也跟考核结果很有关系，要升一个小等级，必须最近两次考核得过一次A类考核结果。升 T3.1是内部晋升的第一道槛，要求架构在领域内优秀，被追问攻击时能无漏洞应答出来--据说只有30%的通过率。同时，腾讯好的一点在于，底层普通员工如果技术真的不错，照样升级，和是不是leader关系不大。 leader的带队价值在T3.3时才显现出来。

别问我是怎么知道答案的，我不是互联网猎头，我正在做的事就是要用互联网产品替代猎头，因为猎头不透明、不全面，还死贵。

五：数据分析的基本素质

一名合格的数据分析师需要具备的五大基本能力和素质。

1、态度严谨负责

严谨负责是数据分析师的必备素质之一，只有本着严谨负责的态度，才能保证数据的客观、准确。在企业里，数据分析师可以说是企业的医生，他们通过对企业运营数据的分析，为企业寻找症结及问题。一名合格的数据分析师，应具有严谨、负责的态度，保持中立立场，客观评价企业发展过程中存在的问题，为决策层提供有效的参考依据；不应受其他因素影响而更改数据，隐瞒企业存在的问题，这样做对企业发展是非常不利的，甚至会造成严重的后果。而且，对数据分析师自身来说，也是前途尽毁，从此以后所做的数据分析结果都将受到质疑，因为你已经不再是可信赖的人，在同事、领导、客户面前已经失去了信任。所以，作为一名数据分析师就必须持有严谨负责的态度，这也是最基本的职业道德。

2、好奇心强烈

好奇心人皆有之，但是作为数据分析师，这份好奇心就应该更强烈，要积极主动地发现和挖掘隐藏在数据内部的真相。在数据分析师的脑子里，应该充满着无数个“为什么”，为什么是这样的结果，为什么不是那样的结果，导致这个结果的原因是什么，为什么结果不是预期的那样等等。这一系列问题都要在进行数据分析时提出来，并且通过数据分析，给自己一个满意的答案。越是优秀的数据分析师，好奇心也越不容易满足，回答了一个问题，又会抛出一个新的问题，继续研究下去。只有拥有了这样一种刨根问底的精神，才会对数据和结论保持敏感，继而顺藤摸瓜，找出数据背后的真相。

3、逻辑思维清晰

除了一颗探索真相的好奇心，数据分析师还需要具备缜密的思维和清晰的逻辑推理能力。我记得有位大师说过：结构为王。何谓结构，结构就是我们常说的逻辑，不论说话还是写文章，都要有条理，有目的，不可眉毛胡子一把抓，不分主次。

通常从事数据分析时所面对的商业问题都是较为复杂的，我们要考虑错综复杂的成因，分析所面对的各种复杂的环境因素，并在若干发展可能性中选择一个最优的方向。这就需要我们对事实有足够的了解，同时也需要我们能真正理清问题的整体以及局部的结构，在深度思考后，理清结构中相互的逻辑关系，只有这样才能真正客观地、科学地找到商业问题的答案。

4、擅长模仿

在做数据分析时，有自己的想法固然重要，但是“前车之鉴”也是非常有必要学习的，它能帮助数据分析师迅速地成长，因此，模仿是快速提高学习成果的有效方法。这里说的模仿主要是参考他人优秀的分析思路和方法，而并不是说直接“照搬”。成功的模仿需要领会他人方法精髓，理解其分析原理，透过表面达到实质。万变不离其宗，要善于将这些精华转化为自己的知识，否则，只能是“一直在模仿，从未超越过”。

5、勇于创新

通过模仿可以借鉴他人的成功经验，但模仿的时间不宜太长，并且建议每次模仿后都要进行总结，提出可以改进的地方，甚至要有所创新。创新是一个优秀数据分析师应具备的精神，只有不断的创新，才能提高自己的分析水平，使自己站在更高的角度来分析问题，为整个研究领域乃至社会带来更多的价值。现在的分析方法和研究课题千变万化，墨守成规是无法很好地解决所面临的新问题的。