热线电话：13121318867

登录
首页精彩阅读全面梳理数据分析思路！
全面梳理数据分析思路！
2016-06-03
收藏

数据分析是一个大话题，借这篇小笔记整理一下自己的思路：数据分析是什么？涉及到哪些技术？有哪些数据公司玩家？如何定位数据分析的价值？

 

前言

数据的一面是银弹(Silver Bullet)：无所不能，增长黑客(Growth Hacking)，决策分析(Decision Making)；数据的另外一面是镜子(Reflection)：可以看清楚很多苟且和远方的田野。如何发现利用数据的价值，就是数据分析的目标。
 
数据分析的重要性可以分为两点：

第一是帮助核心业务(Business)成长，找到和验证业务增长点

第二是有效的业务推动（Marketing），提高推广的效率(ROI)
 
我把营销(Marketing)作为独立的数据分析角度，因为数字营销极度依赖于数据分析，并且有一些通用的分析模型，它同时也是一个非常大的产业，它是各个软件巨擘必争之地。
 
最近十几年，数据的收集和处理能力大大提升，越来越多的传感器和数据收集，许多大公司的数据正在从TB级别走向PB级别。互联网公司之间的模式竞争，也转战到对于数据价值的挖掘的能力上，很多时候也就是速度和效率的竞争。不要迷信数据，更不要忽视数据。很多时候，数据是你业务的指南针和护城河。
 
数据量快速增长，数据分析人才紧缺，数据分析工具依赖性，数据分析服务的强需求都反映了公司从粗放型到精细化的转型。

1.什么是数据分析（Data Analysis）？

为了理解数据分析，首先理解一下数据的概念。管理学家罗素·艾可夫在1989的《 “From Data to Wisdom”，Human SystemsManagement 》提出了DIKW体系体系，这是关于数据、信息、知识及智慧的一个模型，完美诠释了四者的关系。Data(数据)->Information(信息）->Knowledge（知识)->Wisdom(智慧)。

2. 数据分析的技术

技术上就是以发现有用信息，知识和洞察为目的，进行数据收集，处理，清晰，过滤，以支持决策制定。有好几概念有些混淆，花点时间解释一下：

a.   数据挖掘(Data Mining)：数据挖掘是以预测为目标的数据建模和知识探索的一个子学科，好多年前，它一直是一个热门的研究生专业，直到信息检索专业的出现。
 
b.   商务智能(Business Intelligence):BI是一个利用数据的聚合(Aggregation)和分片(Slice)的能力，进行业务监控和洞察发掘。
 
数据分析也是一种艺术(Art)，所谓艺术就是结合技术，想象力，经验和意愿的综合因素的平衡和融合。数据分析也是一个经验和想象力的融合：它涉及到数学算法，统计分析，工具和软件工程的一种结合，最后的目的是解决业务的问题，帮助人从数据中获得智慧。
 
下面列了几个常用的分析技术范式：

1. 统计模型：利用统计模型处理数据的方法

2. 探索式(exploratory):不设定假设目标，自由发掘和探索

3. 稳定性(Stability ofResults)：分析结果的稳定性评估，又是进行交叉验证。

4.假定验证(HypothesisTesting):预先设定好结论，通过测试校验结论

下面是涉及到算法，工程，统计等的相关技术，每一种细分技术都是一个大学问，好的数据科学家，可以游曳穿行其中，找到数据中有价值的洞察。
 

3.数据从业者的职业名称

从事数据的工作者，历史上我见识过了不少名称，包括“数据分析师”，“数据经理”，“运营分析师”，“软件工程师”，“算法工程师”，“策略分析师”，“数据科学家” 等等。其中最酷的名字还是LinkedIn发明的“数据科学家(Data Scientist)”，这个名称也被Forbes评为本世纪最”性感“的工作了。我估计，这是全世界最多的科学家团体了，小时候总觉得科学家必须白发苍苍才行的，现在很多同学刚毕业就是”数据科学家“，很让人羡慕。
 
数据分析实际上是三个方面的融合，包括数据，工程和业务。数据是智慧的原矿石，工程是采矿机，业务是指北针，只有三个方面融合起来，才能最有效的发现数据的价值。我相信一个好的数据分析师必须有工程背景，必须对数据敏感，而且愿意主动解决业务问题。


4.数据分析公司的生态圈

数据分析的的公司非常多，大大小小，林林总总。有小而美的硅谷创业公司，有老牌大公司的老树新花。很多创业公司的市值一路飙升到无法接盘的状态。例如，Palantir估值已经到了200亿美元，但是最近可持续的收入却不断减少，引来不少麻烦。
 
我把数据分析公司分为三类:

第一类是基础服务提供者，主要提供一些软件工具，Hadoop和Spark的生态公司，帮助数据基础架构的建设，也包括一些数据可视化公司。

第二类是通用分析服务提供公司，包括Palantir，IBM的Watson Analytics，SAS, Google Analytics 等等，这类公司提供数据分析服务或者工具，利用专家背景，系统规模和数据资源，帮助解决客户的问题，特别是很多老牌公司通过收购传统数据分析公司，快速重新包装成新的高大上产品。

第三类是专注行业的数据分析公司，例如生物信息，市场营销分析等等。
 
5.三种常见的业务分析模型：

GrowthHacker，AARRR，LTV

看完了欣欣向荣的数据分析行业，是不是感到有些热血沸腾。不过我们还是要回到现实的的，落地的数据分析任务。大部分互联网公司，面临的业务增长的压力，都希望通过数据分析来提升竞争力。其中，有三种常见的业务运营增长模型。

1.   黑客文化的Growth Hacker
2.   经典的AARRR漏斗模型
3.   游戏中的LTV模型
 
1 .增长黑客（Growth Hacker）的数据和分析

GrowthHacking，它指的是一种用户增长的方式，简单说就是通过某些手段和策略帮帮助公司形成快速成长，通常是数据驱动的方法。对创业公司、特别是初创公司来说，在没有广告预算、市场营销活动以及市场推广专员的情况下，GrowthHacking 也可以获得良好的效果。
 
2. AARRR模型

AARRR是Acquisition、Activation、Retention、Revenue、Refer，这个五个单词的缩写，分别对应这一款移动应用生命周期中的5个重要环节。每一个环节都有些关键指标，可以进行数据分析，找到提升的机会。
 
3 .生命周期价值（LTV）模型：

LTV是LifeTime Value，它是游戏行业用于衡量用户价值的一种方式和模型。LTV是指在一定时间内，某一客户可能为企业带来的利润额.顾客终身价值是指企业在获得新顾客后的一段时间内，每一位顾客的平均利润净现值。由于游戏有很强的时间相关性，因此LTV会累计一段时间的数据。

6.   几个有特点的数据分析工具

从公司类型上来说，数据分析公司简单可以分为两类：1传统大型IT公司  2互联网创新公司。很多传统大公司都涌入数据分析行业，大多都是希望利用自己的客户，硬件和软件优势，通过数据分析转型成SaaS服务提供商，例如IBM，Oracle等。另外一个就是互联网创新公司，大量数据科学家形成了大大小小数据分析创业公司，很多都聚焦在一个细分行业，其中包括Qualtrics，Mulesoft，Medallia等，超过80%的数据分析公司在美国的加州。

这里介绍几个市面上的分析工具，对于浩瀚的数据分析市场来说，只是窥豹一斑，但是他们确实几类数据分析公司的代表:老牌软硬件公司，互联网公司，手机生态公司。

1.   Google Analytics Suite 360
2.   IBM Watson Analytics
3.   Apple App Analytics
4.   MixPanel
 
1. GoogleAnalytics Suite 360 

2016年3月15日，谷歌发布了全新的数据服务GoogleAnalytics 360 套件，为广告主和互联网公司提供更优秀的数据服务。相比之前的Google Analytics，整个产品线有了极大的丰富，包括6大产品，覆盖埋点，分析，可视化，定向，转化，归因等方面，全方面贴近广告主的需求。
 
数据是广告主的核心利益的护城河和运行效率指南针，数据一定要靠谱，全面。Google的数据服务套件升级，可以帮助广告主更加高效的投放。特别是GoogleAudience 360(DMP)的加入，看来谷歌也越来越重视“以人为本”营销。Facebook对广告主提供了优秀的数据服务（社交数据，按效果优化计费等），Google也感受到了压力，提升数据服务也是顺势而为之。

2 .IBM Watson Analytics

IBM收购了多家BI技术公司后，而后结合鼎鼎大名的Watson，在2014年推出了IBM Watson Analytics。有IBM朋友介绍，这是IBM最接地气的软件之一，可以自助注册并且可以免费试用大部分功能。
 
它提供全方位的自助服务分析功能，包含数据细化和仓储服务，以便他们更快捷地获取和准备数据，从而进行分析和可视化处理。WatsonAnalytics还实现了诸如数据准备、预测性分析以及可视化分析等众多步骤的自动化，确保营销、销售、运营、财务及人力资源等诸多数据密集型业务从业人员能够快速、智能地获取洞察。
 
WatsonAnalytics是基于Watson认知技术构建的一个创新云分析平台，拥有自然语言认知查询、预测性分析以及可视化分析能力，能让商业人士跨越IT专业知识的障碍，获取与数据分析师相同的由认知驱动的预测性和指导性分析能力。

3. AppleApp Analytics


苹果于2015年的开发大会(2015,WWDC)上正式推出了Apple App Analytics提供如下功能：

查看用户访问App Store应用页面的频率
应用数据：启动应用的数量，Crash，用户停留时间
用户ID系统：使用Apple ID，而不是设备ID
营销分析：创建自定义、可追踪的营销链接，找出最多的引荐来源

很多运营指标和已有统计分析数据不同，导致各种数据
 
相较于其他统计服务者(Flurry, App Annie，GA等)，Apple App Analytics不需要开发者写任何代码，也不要求在应用里集成特定的SDK。当然，这对于支持的统计力度有一些限制，事实上到目前为止，App Analytics只能提供一些应用启动数据，日活，留存，使用时长等基本数据而已。它的一个很大优势是集成了App Store的各种数据，创建访问App Store可跟踪的链接等。
 
大部分时候，它也只是App开发工具的一个参考而已，而且Apple AppAnalytics的很多数据和其他的统计平台的数据并不一致，开发者需要花很多时间理解其中的不一致。例如，Apple的UV是根据Apple ID统计的，大部分统计工具使用的是苹果的设备ID，例如AAID等。
 
4. MixPanel

MixPanel是美国一个领先的一个移动数据分析公司，主要用于移动和PC的分析平台，通过打点客户端，将数据上报到服务器，进行留存，分组，漏斗，A/B测试等服务。另外，它也支持可视化打点功能，帮助运营人员灵活配置。它也把打点服务/数据分析服务从免费方式转向收费增值服务的一个领先者。另外一些类似的数据服务公司，还包括专门做A/B测试的Optimizely，KISSMetrics和Leanplum等。

小结


数据分析从来就是一个热门词，像人工智能一样，从来都吸引眼球；很多时候，数据被滥用成了一把上方宝剑，谁不服就用数据砸谁。实际上，数据告诉你的更多的眼前的苟且，而我们需要思考的更多的是诗和远方。数据分析可以给我提供很多的数字，但却无法代替的人的思考:如何简化问题?如何抽象和分解复杂？如何排除万难？数据分析只会让工作更加有意思和挑战！

作者简介 

欧阳辰

小米广告架构师主管，毕业于北京大学计算机系硕士，目前就职于小米公司，负责广告平台架构和大数据。帮助广告主跟踪，优化，评估投放效果，提升ROI。帮助百个应用进行日常的精细化运营，实现持续的黑客增长。10年微软任职，领导团队参与微软搜索索引和搜索广告平台研发工作，微软移动联盟广告研发，包括系统架构和数据算法。
来源：网站分析星期三


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

数据分析 统计分析 数据挖掘 决策分析 Hadoop 策略分析 数据建模 漏斗模型

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！
下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询