数据处理流程和数据分析方法

2018-03-02

数据处理流程和数据分析方法 大数据分析这件事用一种非技术的角度来看的话，就可以分成金字塔，自底向上的是三个部分，第一个部分是数据采集，第二个部分是数据建模，第三个部分是数据分析，我们来分别看一下。 ...

数据挖掘中常用的数据清洗方法

2018-03-01

数据挖掘中常用的数据清洗方法 对于数据挖掘来说，80%的工作都花在数据准备上面，而数据准备，80%的时间又花在数据清洗上，而数据清洗的工作，80%又花在选择若干种适当高效的方法上。用不同方法清洗的数据，对 ...

使用R并行方式对数值型数据离散化

2018-02-26

使用R并行方式对数值型数据离散化 数据的特征按照其取值可以分为连续型和离散型。离散数值属性在数据挖掘的过程中具有重要的作用。比如在信用卡评分模型中，当自变量很多时，并非所有字段对于目标字段来说都是 ...

R中五种常用的统计分析方法

2018-02-23

R中五种常用的统计分析方法 1、分组分析aggregation 根据分组字段，将分析对象划分为不同的部分，以进行对比分析各组之间差异性的一种分析方法。 常用统计指标： 计数 length 求和 sum  平均 ...

Python的Flask框架与数据库连接的教程

2018-02-20

Python的Flask框架与数据库连接的教程 命令行方式运行Python脚本 在这个章节中，我们将写一些简单的数据库管理脚本。在此之前让我们来复习一下如何通过命令行方式执行Python脚本. 如果Linux 或者OS X的操 ...

SPSS统计分析案例:Wilcoxon符号秩检验

2018-02-13

SPSS统计分析案例:Wilcoxon符号秩检验 最近我发现，大家对T检验的使用频率很高，但是有一个共同的应该引起注意的问题，几乎没有人去讨论原始数据的正态分布情况，只要是两样本差异检验，就直接使用T检验出结果 ...

使用Python操作MySQL的一些基本方法

2018-02-13

使用Python操作MySQL的一些基本方法 前奏 为了能操作数据库， 首先我们要有一个数据库， 所以要首先安装Mysql， 然后创建一个测试数据库python_test用以后面的测试使用    CREATE DATABAS ...

SPSS正态分布以及方差齐性检验以及Wilcox检验

2018-02-12

SPSS正态分布以及方差齐性检验以及Wilcox检验 方差分析、t-test等基本上都是我们常用的工具，但是还是有不少小伙伴，特别是刚入坑的小伙伴分不清楚，今天是说几句，老司机也可以收藏给以后的师弟师妹。第二篇关 ...

深入剖析Python的爬虫框架Scrapy的结构与运作流程

2018-02-12

深入剖析Python的爬虫框架Scrapy的结构与运作流程 网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也 ...

我们为什么需要大数据技术

2018-02-12

我们为什么需要大数据技术 大数据到底是什么？我们为什么需要大数据技术？     Mike Jude：从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库， ...

Python专题三字符串的基础知识

2018-02-08

Python专题三字符串的基础知识 在Python中最重要的数据类型包括字符串、列表、元组和字典等.该篇主要讲述Python的字符串基础知识. 一.字符串基础 字符串指一有序的字符序列集合,用单引号、双引号、三重( ...

建设数据仓库的八个步骤

2018-02-08

建设数据仓库的八个步骤 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽 ...

python脚本实现分析dns日志并对受访域名排行

2018-02-05

python脚本实现分析dns日志并对受访域名排行 前段时间有个需求是要求查一段时间的dns上的域名访问次数排行(top100)，没办法，只好慢慢的去解析dns日志呗，正好学习了python，拿来练练手。 1.原始数据分 ...

Excel技能分享：如何汇总不同年月的数据

2018-02-03

Excel技能分享：如何汇总不同年月的数据 小伙伴们好啊，日常工作中，咱们经常会汇总某个期间的数据，或者是按年月来汇总一些销售、采购的记录。 就像下面的表格： A列是消费日期，B列是消费摘要，C列是记 ...

图书销售综合分析

2021-03-08

一、案例综述 案例编号： 101004 案例名称： 零售行业——图书销售综合分析 作者姓名（或单位、或来源）： 刘莎莎 案例所属行业： h65 零售行业 案例所用软件： Sas EG ...

当我用python爬了公司BD王同事的微信好友...

2022-01-20

当我用python爬了公司BD王同事的微信好友... 某日，BD王同事找我聊天，聊着聊着就抱怨起来，这一年跑市场跑太猛了，工作微信的好友加到了5000人上限，只能换个双微信的手机了，但是这个X刚买没多久啊......5 ...

数据挖掘概念综述

2018-01-29

数据挖掘概念综述 数据挖掘又称从数据库中发现知识（KDD）、数据分析、数据融合（Data Fusion）以及决策支持。KDD一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议上。随后在1991年、1993年和199 ...

Python程序员鲜为人知但你应该知道的17个问题

2018-01-28

Python程序员鲜为人知但你应该知道的17个问题 这篇文章主要介绍了Python程序员代码编写时应该避免的17个“坑”,也可以说成Python程序员代码编写时应该避免的17个问题,需要的朋友可以参考下 一、不要使用 ...

Python做简单的字符串匹配详解

2018-01-26

Python做简单的字符串匹配详解 由于需要在半结构化的文本数据中提取一些特定格式的字段、数据辅助挖掘分析工作，以往都是使用Matlab工具进行结构化数据处理的建模，matlab擅长矩阵处理、结构化数据的计算，Pyth ...

DT时代，如何成为十字复合型数据分析师

2018-01-25

DT时代，如何成为十字复合型数据分析师 当前社会正从IT到DT智能时代，传统行业嫁接互联网，产生的是加法效应；大数据创新驱动，产生的是乘法效应，价值呈指数递增。DT时代拼的是人才和创新价值的能力，拼的是你 ...