数据分析师面试问题梳理

1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方 ...

分享数据挖掘基本方法

分享数据挖掘基本方法 数据分析师利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 1.分类 ...

主宰全球的10大算法

Reddit有篇帖子介绍了算法对我们现在生活的重要性，以及哪些算法对现代文明所做贡献最大。如果对算法有所了解，读这篇文章时你可能会问“作者知道算法为何物吗？”，或是“Facebook的‘信息流’(News Feed)算是一种 ...

【统计教你谈恋爱】爱情寻觅阶段——大数定律

爱的动因源自于对美的追求，事实上，美学观点，或称对美的看法是随时间变化而不断变化的。最初，涉世不深的年轻人更注重容貌上的美，所谓的男孩要“帅” ，女孩要“靓” ，待他（她）慢慢成熟以后，观点会发生变 ...

【趣说数学】懂点儿数学，排队更省时

要是刘姥姥来到21世纪，把每一座大都市都逛上几圈，她一定会觉得都市人最喜欢的娱乐就是排队。早在1946年，匈牙利裔的作家乔治·米克斯（George Mikes）定居伦敦时，就在著作《如何当一个外星人 》（How To Be An ...

怎样正确进行数据分析？

先给大家看几条关于互联网的新闻，第一条是百度网页搜索份额达到73.2%，百度处理了1096亿条网页搜索请求，与去年相比提升了0.6个百分点。报告发布后，有出现了很多博客就根据这个数字来攻击Google，说它做的不好。来 ...

【从零开始学统计】12.主成分与因子的相伴相随

六月这个特殊的月，我们都会关注一些“时令”信息，比如高考，比如世界杯，比如就业……一说到这些，媒体上充斥的就是非常时髦的排名，什么大学排行榜，MBA商学院排名，专业排行榜，专业就业排行榜，最佳球员榜， ...

【从零开始学统计】11.物以类聚，人以群分！

在统计学的应用中，有一些方法与回归这类定量数据为主的分析不同，他们更倾向于定性的分析，比如判别，比如聚类……这类分析或许搞经济的，搞金融的不太会去使用，但在医药，咨询服务类公司则会经常（或相比经济金融 ...

【从零开始学统计】10.共线性与异方差

传统的多元线性回归模型中，总是存在一个基本假设：解释变量为非随机变量且彼此间互不相关（实际上一般只要求不存在完全共线性），随机误差项相互独立且服从零均值同方差的特性。那么这次，我们就来看看时常困扰我们 ...

【从零开始学统计】9.回归：统计方法的大结合！

【从零开始学统计】8.样本好才是真的好！

之前做的几个系列都得到了大家的支持，也有很多童鞋指出了楼主写的纰漏，楼主很感谢大家（这样才能有进步嘛……）。 那么这次楼主想说说抽样的问题。抽样这个话题，其实有那么点……一般作分析的都是处于数据处理 ...

【从零开始学统计】7.这个P不简单

哈哈，楼主此次的标题起得有点粗俗，这个P当然不是屁，而是指软件中那个常常出现的P值。不管有没有学过统计，相信很多同学（包括楼主）在刚开始接触P值时，对它的理解多少有点云里雾里的，以至于在做模型检验的时 ...

【从零开始学统计】6.通俗理解T和F检验

T检验是统计推断中常用的一种检验方法，在统计分析中，它主要用于检验参数的显著性。前一次，我们已经讲了假设检验的一些初步知识，那么这些T检验啊F检验啊，都是建立在假设检验的基础上的。 首先我们简单了解一 ...

【从零开始学统计】5.假设检验那些事

1、什么是假设检验？ 个人理解，假设检验就是利用反证法和小概率事件对原假设（Null Hypothesis）和备选假设（Alternative Hypothesis）进行选择。首先，假设原假设成立，那么就可以利用原假设的一些条件，如统计 ...

【从零开始学统计】4.带你认识最小二乘法

在估计方法中，最大似然和最小二乘是经常被使用到的，其中的最小二乘更是回归的基础。楼主在刚接触最小二乘的时候曾经想过一个问题，为什么非要用平方？绝对值不行么？……很多问题萦绕脑中。最近借着做专题的时间， ...

【从零开始学统计】3.置信度置信的到底是什么？

前两期楼主分别作了均值和拟合优度的专题，今天就来说说置信度。 要说置信度，首先老师肯定会在此前已经介绍过了点估计了，那么引入这个概念的目的自然是为了配合一个叫做区间估计，估算置信区间。通常都是用点估计 ...

【从零开始学统计】2.可决系数真的决定一切么？

前几天逛知乎的时候看到一个帖子，学计量的和学统计的在争论关于anova里的可决系数的问题。突然萌生了一个念头，想听听大家对这个R2是怎么理解的。（引用的知乎链接，大家可以前去看看http://www.zhihu.com/quest ...