数据工作的科普总结

2017-11-28

数据工作的科普总结 首先说，这是一篇关于数据工作的科普文字，是我从事数据工作三年的一个小总结，因为不时会有人咨询我一些小问题，于是我大致整理了一下，主要是说了数据工作到底都包含了什么，其中关于数据 ...

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

R文本分类之RTextTools

2017-05-09

R文本分类之RTextTools 古有曹植七步成诗，而RTextTools是一款让你可以在十步之内实现九种主流的机器学习分类器模型的文本分类开发包。 它集成了(或者说支持)如下算法相关的包： 支持向量机（Support Vec ...

微博商业数据挖掘方法

2017-05-04

微博商业数据挖掘方法 本文主要介绍微博商业数据挖掘的体系及方法，但并不注重模型和算法这些细节，而是阐述数据如何贴近、支持和引导业务，如何建立合理的评价体系，以及如何围绕这两点建设数据挖掘架构。 ...

大数据舆情情感分析，如何提取情感并使用什么样的工具？

2017-03-28

各类 paper 是有一定的借鉴意义的，不过这主要是学术界在单个问题上的细化，要真正从研究领域落地到大数据的处理还有很多工作要做。 一、工程上的处理流程 工程上的处理流程具体包括 ...

如何快速搭建一篇数据化运营的大纲？

2017-03-23

于是我希望，在七周成为数据分析师的系列后，把数据化运营作为第二个系列来完成。每次写文章，对自己也是一种总结和提升。 下面是一份「简略」的大纲，更恰当地说是草稿。当不久的将来开始正式写 ...

机器学习算法常用指标总结

2017-03-11

机器学习算法常用指标总结 考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）, ...

浅谈机器学习在市场营销中的应用

2017-03-06

目前，在线展示广告越来越流行。在线展示广告的目的是获取更多的潜在客户，吸引客户购买商品。在线展示广告的一个基本要求就是通过广告获取用户所需费用要小于用户购买商品所耗费用，进而使得通过广告吸引来 ...

R语言不平衡数据分类指南

2017-02-27

R语言不平衡数据分类指南 目前我们发展出了不少机器学习算法来对数据建模，基于数据进行一些预测已经不再是难事。不论我们建立的是回归或是分类模型，只要我们选择了合适的算法，总能得到比较精确的结果。然而 ...

python数据挖掘之决策树DTC数据分析及鸢尾数据集分析

2020-04-20

Python数据挖掘之决策树DTC数据分析及鸢尾数据集分析  今天主要讲述的内容是关于决策树的知识，主要包括以下内容：1.分类及决策树算法介绍2.鸢尾花卉数据集介绍3.决策树实现鸢尾数据集分析。希望这篇文章 ...

数据挖掘分类技术_数据挖掘分类

2016-12-13

数据挖掘分类技术_数据挖掘分类 1、过分拟合问题： 造成原因有：（1）噪声造成的过分拟合（因为它拟合了误标记的训练记录，导致了对检验集中记录的误分类）；（2）根据少量训练记录做出分类决策的模型也容易 ...

大数据架构师必读的NoSQL建模技术

2016-10-09

从数据建模的角度对NoSQL家族系统做了比较简单的比较，并简要介绍几种常见建模技术。 丨1.前言 为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命 ...

2017校招数据分析岗笔试/面试知识点

2016-09-26

2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。 尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是应该也抱着好的期望去找自己满意的呢？ 最 ...

用R语言实现对不平衡数据的四种处理方法

2016-09-07

用R语言实现对不平衡数据的四种处理方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。那么，这种结果是为何发生的呢?到底是什 ...

数据挖掘工程师笔试及答案整理

2021-02-03

数据挖掘工程师笔试及答案整理 2013百度校园招聘数据挖掘工程师 《数据分析专项练习题库》 《CDA数据分析认证考试模拟题库》 《企业数据分析面试题库》 一、简答题（30分） 1、简述数据 ...

大数据的道、术、释

2016-07-09

大数据的道、术、释 大数据的 本质是对效率的提升，是对精细化的追求。一上来就讲到了大数据本质，有别于其他知识类的书籍。这本书更多的是从哲学思考的角度来组织“道”与“术”这两部 分的。前言部分就提到了 ...

Spark 文本情感分析

2016-06-08

本文描述了一个基于 Spark 构建的认知系统：文本情感分析系统，分析和理解社交论坛的非结构化文本数据。 基于 Spark 的文本情感分析 文本情感分析是指对具有人为主观情感色彩文本材料进行处理、分 ...

大数据架构师必读的NoSQL建模技术

2016-06-07

大数据架构师必读的NoSQL建模技术 从数据建模的角度对NoSQL家族系统做了比较简单的比较，并简要介绍几种常见建模技术。 1.前言 为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同 ...

WePay机器学习反欺诈实践：Python+scikit-learn+随机森林

2016-04-20

WePay机器学习反欺诈实践：Python+scikit-learn+随机森林 什么是shell selling？ 虽然欺诈几乎涉及各种领域，但相对于传统的买方或卖方仅仅担心对方是否是骗子，支付平台需要担心的是交易双方。如果其中任何 ...

以性别预测为例，谈谈数据挖掘中的分类问题

2016-03-02

以性别预测为例，谈谈数据挖掘中的分类问题 互联网的迅猛发展，催生了数据的爆炸式增长。面对海量的数据，如何挖掘数据的价值，成为一个越来越重要的问题。本文首先介绍数据挖掘的基本内容，然后按照数据挖掘 ...