工资比同事低，这些关键技能，你掌握了吗

2021-02-03

前几天公司面试了几个数据分析岗位，一连面试了一周，结果没有一个被录取，感触颇深。 数据分析师每天需要接触大量的数据，可是这些候选人连最基础的拆解业务场景，制定数据指标，以及通过什么样的工具 ...

五种大数据处理架构

2018-03-02

五种大数据处理架构 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算 ...

Python标准库的学习准备

2017-06-04

Python标准库的学习准备 Python标准库是Python强大的动力所在，我们已经在前文中有所介绍。由于标准库所涉及的应用很广，所以需要学习一定的背景知识。 硬件原理 这一部份需要了解内存，CPU，磁盘存储以 ...

做大数据必须了解的多种处理框架

2016-11-28

做大数据必须了解的多种处理框架 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是 ...

互联网数据分析能力的养成，你只需要一份七周的提纲

2016-11-28

互联网数据分析能力的养成，你只需要一份七周的提纲 我会按照提纲针对性的增加互联网侧的内容，比如网站分析，用户行为序列等。我也不想留于表面，而是系统性讲述。比如什么是产品埋点？在获得埋点数据后，怎么 ...

R语言实战：R语言介绍

2016-10-12

R语言实战：R语言介绍 我们分析数据的方式在近年来发生了令人瞩目的变化。随着个人电脑和互联网的出现，可获取的数据量有了非常可观的增长。 商业公司拥有TB级的客户交易数据，政府、学术团体以及私立研究机 ...

大数据介入教育领域 鱼和熊掌之间如何平衡

2016-07-23

大数据介入教育领域 鱼和熊掌之间如何平衡 大数据(Big Data)作为国家基础性战略资源，其战略地位与核心价值不言而喻，但大数据技术是一把双刃剑，到教育上同样会带来的危机。这需要我们在渴望优化学习，和拒绝 ...

数据分析师：数据分析工作常见七种错误及其规避技巧

2016-04-24

数据分析师：数据分析工作常见七种错误及其规避技巧 商业领域的数据科学家和侦探类似:去探索未知的事物。不过,当他们在这个旅程中冒险的时候，他们很容易落入陷阱。所以要明白,这些错误是如何造成的,以及如何避 ...

10个表明数据科学能力成熟的迹象

2016-04-01

10个表明数据科学能力成熟的迹象 通常情况下，我们的业务已经转向为练习组织运作方式的转型——“建设一种能力”意味着建设一种文化来支持和充分利用数据科学。在许多情况下，这种文化的改变能够为世界上的许多 ...

数据分析工作常见的七种错误及规避技巧

2016-03-17

数据分析工作常见的七种错误及规避技巧 这在大多数情况下是正确的,但是对于数据科学家而言,犯错误能够帮助他们发现新的数据发展趋势和找到数据的更多模式。说到这儿,有一点很重要:要明白数据科学家有一个非常边 ...

汇总最实用56个大数据可视化分析工具

2016-02-21

汇总最实用56个大数据可视化分析工具 　在大数据时代，更需要强有力的工具通过使数据有意义的方式实现数据可视化，还有数据的可交互性;我们还需要跨学科的团队，而不是单个数据科学家、设计师或数据分析员;我们 ...

大数据工具比较-R语言和Spark谁更强

2016-02-20

大数据工具比较-R语言和Spark谁更强 现如今的大数据工具真是多，在数据分析师工作中，使用哪些工具更加合适呢，r语言和Spark机器学习那个中有市场率更高些，那个在运算中更快更强些呢？ Spark的机器学习库 ...

选择R语言做统计分析的理由

2016-01-13

R语言是S语言的一种开源实现，一种用于数据分析和图形化的编程环境。资深分析师Catherine最近撰文结合自己的实践经验详细介绍了R语言的优点和缺点。 Catherine指出，R主要用于做统计工作。你可以把它看成是像SA ...

数据模型需要多少训练数据

2016-01-10

数据模型需要多少训练数据 毫无疑问机器学习是大数据分析不可或缺的一部分，在使用机器学习技术的时候工程师除了要选择合适的算法之外还需要选择合适的样本数据。那么工程师到底应该选择哪些样本数据、选择多少 ...

SAS与R优缺点讨论：从工业界到学界

2016-01-08

SAS与R优缺点讨论：从工业界到学界  尽管在工业界还是被 SAS 所统治，但是R 在学术界却得到广泛的应用，因为其免费、开源的属性使得用户们可以编写和分享他们自己的应用。我们的目的就是展示这两种差异巨 ...

做数据分析必须学R语言的4个理由

2016-01-05

做数据分析必须学R语言的4个理由 R 是一种灵活的编程语言，专为促进探索性数据分析、经典统计学测试和高级图形学而设计。R 拥有丰富的、仍在不断扩大的数据包库，处于统计学、数据分析和数据挖掘发展的前沿。R ...

数据科学 怎样进行大数据的入门级学习？

2015-12-24

数据科学 怎样进行大数据的入门级学习？ 数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法来对付数据。 但从狭义上来看，我认为数 ...

机器学习中的偏差和方差是什么？有哪些区别？

2020-07-20

偏差与方差是我们在机器学习中经常遇到的两个概念，而且在有关机器学习的面试中，偏差与方差也经常拿来考验面试者的机器学习的基础知识。偏差与方差这两者看似简单，但要真正弄清楚两者之间的联系与区别，必须要下 ...

过拟合(over-fitting)出现的原因及相应的解决方法

2020-07-08

过拟合(over-fitting)是指机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。也就是referstoa模型对于训练数据拟合程度过高的情况。 通过学习曲线来理解 ...

百闻不如一练：随机森林等可视化调试模型超参数

2020-06-10

以下使用scikit-learn中数据集进行分享。 如果选用随机森林作为最终的模型，那么找出它的最佳参数可能有1000多种组合的可能，你可以使用使用穷尽的网格搜索（Exhaustive Grid Seaarch）方法，但时间成本将会很 ...