做数据分析，首先解决这两类数据质量问题

2017-12-04

做数据分析，首先解决这两类数据质量问题 为了能够系统化地、高效地解决出现的任何问题，我们必须学会将这些问题分而治之。毕竟，知己知彼方是解决问题的首重至要。由此，我们才会发现解决之道就在其中。而对于 ...

sql中插值法完成缺失数据的填充

2017-12-04

sql中插值法完成缺失数据的填充 从Excel中导入了一批数据到Sqlserver，但因为原始数据不全，中间有些数据漏掉了。比如下面这种情况。ID为2的so数据为0。ID为3，4的co1数据缺失了，暂时用0代替。 ID  so &n ...

【每周一期-数据蒋堂】还原分组运算的本意

2017-12-01

【每周一期-数据蒋堂】还原分组运算的本意 【每周一期-数据蒋堂】还原分组运算的本意 分组是SQL中常见的运算，但未必所有人都能深刻地理解它。 分组运算的实质是将一个集合按照某种规则拆分成若干个子 ...

大数据环境下该如何优雅地设计数据分层

2017-11-28

大数据环境下该如何优雅地设计数据分层 发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库 ...

数据预处理和挖掘究竟该怎么做

2017-11-24

数据预处理和挖掘究竟该怎么做 在这个充斥着怀疑和谎言的网络世界中，数据即真相。海量的原始数据正以惊人的速度增长，其中大部分都是非结构化的，但是通过运用分析我们可以发现其中重要的规律和线索以及隐藏在 ...

python网络编程调用recv函数完整接收数据的三种方法

2017-11-18

python网络编程调用recv函数完整接收数据的三种方法 最近在使用python进行网络编程开发一个通用的tcpclient测试小工具。在使用socket进行网络编程中，如何判定对端发送一条报文是否接收完成，是进行socket网络 ...

SPSS非参数检验：独立样本

2017-11-12

SPSS非参数检验：独立样本 一、概念： 独立样本的非参数检验是在对总体分布不甚了解的情况下，通过对两组或多组独立样本的分析来推断样本来自的总体的分布等是否存在显著差异的方法。独立样本是指 ...

数据科学的十大常见误区 你中枪了吗?

2017-11-11

数据科学的十大常见误区 你中枪了吗? 对于数据科学领域的新手来说，以下的十大常见误区每一条都是血与泪的教训。 对于数据科学领域的初学者和职场小白来说，理想往往很美好，现实却很骨感。理想的数据科学世 ...

举例简单讲解Python中的数据存储模块shelve的用法

2017-11-03

举例简单讲解Python中的数据存储模块shelve的用法 shelve类似于一个key-value数据库，可以很方便的用来保存Python的内存对象，其内部使用pickle来序列化数据，简单来说，使用者可以将一个列表、字典、或者用户 ...

大数据的思维、思考和思路

2017-11-01

大数据的思维、思考和思路 真正搞大数据的可能在于思维的变化，用数据来思考，用数据来做决定。 1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的 ...

大数据环境下的多维分析技术

2017-10-31

大数据环境下的多维分析技术 正是由于多维分析技术在业务分析系统的核心功能中的不可替代性，随着商业智能系统的深入应用，分析系统的数据量呈指数级增长，原有依赖硬盘IO处理性能（包括传统数据库、多维立方体 ...

SPSS直销分析:购买倾向和控制包装检验

2017-10-30

SPSS直销分析:购买倾向和控制包装检验 一、购买倾向（直销-选择方法-选择最有可能购买的联系人）    购买倾向使用测试邮件或先前活动的结果来生成得分。这些得分显示哪些联系人最有 ...

人们应该知道的大数据术语

2017-10-27

人们应该知道的大数据术语 大数据带来了许多新的术语,但一些术语往往不太好理解。以下是人们应该了解的大数据术语列表： 以下进行一个简短的回顾，以前曾经介绍了算法，分析，描述性分析，预处理分析，预 ...

SPSS Modeler数据挖掘：回归分析

2017-10-24

SPSS Modeler数据挖掘：回归分析 1 模型定义 回归分析法是最基本的数据分析方法，回归预测就是利用回归分析方法，根据一个或一组自变量的变动情况预测与其相关的某随机变量的未来值。 回归分析是研究一个 ...

spss modeler出现使用错误提

2017-10-21

spss modeler出现使用错误提 1、对字段“compensation汇总导出”指定的类型不充分 问题： 为了分析需要，我加了一个“字段选项”——“导出”节点， 并将这个汇总字段类型设置为“连续”。 ...

数据工作的本质：从业务中来，到业务中去

2017-10-17

数据工作的本质：从业务中来，到业务中去 数据工作就组成结构和流程来说还是比较简单的，因为这个工作本来就很年轻，分工还没有很细。总体来讲，我把数据工作看成相互连接的三部分：取数、理数、用数，这是一个 ...

使用python和tableau对数据进行抓取及可视化

2017-10-15

使用python和tableau对数据进行抓取及可视化 本篇文章介绍使用python抓取贷款及理财平台的数据，并将数据拼接和汇总。最终通过tableau进行可视化。与之前的python爬虫文章 不同之处在于之前是一次性抓取 ...

Python连接mssql数据库编码问题解决方法

2017-10-14

Python连接mssql数据库编码问题解决方法 python一直对中文支持的不好，最近老遇到编码问题，而且几乎没有通用的方案来解决这个问题，但是对常见的方法都试过之后，发现还是可以解决的，下面总结了常用的支持中 ...

对于Python的框架中一些会话程序的管理

2017-10-14

对于Python的框架中一些会话程序的管理 Django, Bottle, Flask,等所有的python web框架都需要配置一个SECRET_KEY。文档通常推荐我们使用随机的值，但我很难发现他有任何文字说明，因为这样容易被破解(本地攻击 ...

数据集市的挑战是识别和处理数据安全

2017-10-13

数据集市的挑战是识别和处理数据安全 由于企业数据可见性的增强和数据安全团队的要求，数据集市团队面临的挑战是确保某些客户属性被识别和“处理”。要求技术提供商演示对潜在敏感数据的自动识别和操作，以此来 ...