你真的会玩SQL吗？三范式、数据完整性

2017-07-06

你真的会玩SQL吗？三范式、数据完整性 每次上新功能时都需要添加新表，这时就要涉及到表结构的设计，那就要提到三范式，对于三范式教科书上说得很绕口，那简单点的呢？ 三范式 第一范式：属性不可分,不允 ...

Python中字典创建、遍历、添加等实用操作技巧合集

2017-07-04

Python中字典创建、遍历、添加等实用操作技巧合集 字段是Python是字典中唯一的键-值类型，是python中非常重要的数据结构，因其用哈希的方式存储数据，其复杂度为O(1)，速度非常快。下面列出字典的常用的用途. ...

R语言的小个性

2017-07-02

R语言的小个性 这篇文章用来记录我在学习使用R语言中遇到的一些区别于其他程序语言的小问题，以及一些解决方案。会持续记录下去。 1.       除法 R语言的除法运算符与其他 ...

大数据在保险行业的应用实践

2017-06-30

大数据在保险行业的应用实践 DT时代的到来，使得金融业对数据的依赖越发加强，众多的金融环节都需要通过对数据的收集和分析后完成。银行业每创收100万美元，平均就会产生820GB的数据！ 数据来源：SINIA ...

如何学习基于SPSS Modeler的数据挖掘

2017-06-29

如何学习基于SPSS Modeler的数据挖掘 企业想要在竞争激烈的市场中胜出，决策的速度和反应的效率尤为重要。根据调查显示，75%的企业在面临拟定策略时，常常无法获得实时且有根据的决策信息。什么样的数据、要透 ...

巧用SQL数据库挖掘审计线索的思路与方法

2017-06-23

巧用SQL数据库挖掘审计线索的思路与方法 在审计署统一组织的医疗保险基金审计项目中，笔者所在审计组充分发挥计算机审计技术优势，巧用SQL数据库查询功能，进行数据比对，筛查出该县一家民营医院疑似存在“医院 ...

MySQL SQL语句优化技巧

2017-06-23

MySQL SQL语句优化技巧 1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立 ...

大数据时代 数据该如何保护

2017-06-22

大数据时代 数据该如何保护 随着数据发掘的不断深入和在各行业应用的不断推进，大数据安全的“脆弱性”逐渐凸显，国内外数据泄露事件频发，用户隐私受到极大挑战。而且在大数据环境下隐私泄露的危险，不 ...

SQL调优-表统计信息未及时更新导致查询超级慢

2017-06-19

SQL调优-表统计信息未及时更新导致查询超级慢 某日同事丢给我一个看上去复杂的查询（实际就涉及两张表，套来套去）说只是换了日期条件，但一个查询5秒出数据，一个根本查不出来。现在整理下解决过程，及涉及的 ...

R语言数据可视化2—ggplot2各种维度的业务量统计根据类型统计不同月份的业务

2017-06-11

R语言数据可视化2—ggplot2各种维度的业务量统计根据类型统计不同月份的业务 准备工作： 1.案例所用的表“test1.csv” 2.所用到的R包\"ggplot2\"、\"lubridate\" ggplot2介绍:用来作图 lubrid ...

漫谈数据仓库之维度建模

2017-06-11

漫谈数据仓库之维度建模 下面的内容，是笔者在学习和工作中的一些总结，其中概念性的内容大多来自书中，实践性的内容大多来自自己的工作和个人理解。由于资历尚浅，难免会有很多错误，望批评指正！ 概 ...

R语言数据可视化1—ggplot2画柱状图

2017-06-11

R语言数据可视化1—ggplot2画柱状图 目的：将已有的业务表(csv格式)，导入到Rstudio中。根据“开始时间”，按月份统计出业务量。画出下图。（注：我选择的业务表中只有1、2、3月的数据） 开始吧！ ...

大数据环境下该如何优雅地设计数据分层

2017-06-11

大数据环境下该如何优雅地设计数据分层 最近出现了好几次同样的对话场景： 问：你是做什么的？ 答：最近在搞数据仓库。 问：哦，你是传统行业的吧，我是搞大数据的。 答：...... 发个牢骚，搞大数据的 ...

为什么数据管理工作很难成功

2017-06-10

为什么数据管理工作很难成功 大数据时代的到来，大家开始将数据当成资产，数据管理的意义也越来越大，但很多企业的数据管理工作，都难言成功，为什么？首先来看下数据管理的定义： 数据管理，即对 ...

SQL注入攻防入门详解

2017-06-08

SQL注入攻防入门详解 这几天把sql注入的相关知识整理了下，希望大家多多提意见。（对于sql注入的攻防，我只用过简单拼接字符串的注入及参数化查询，可以说没什么好经验，为避免后知后觉的犯下大错，专门查看大 ...

大数据就是占有数据?错,如何使用更重要!

2017-06-07

大数据就是占有数据?错,如何使用更重要! 发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓 ...

Hadoop Hive sql语法详解

2017-05-28

Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表， ...

SQL LDR默认字符最大长度限制问题

2017-05-27

SQL LDR默认字符最大长度限制问题 场景： 上游的文件导入系统报超过字段长度。 现象： 该字段有256个字节，而表的字段COL1长度为VARCHAR2(500)，按理说不应该超长。 分析： ...

sql语句优化的13中方法

2017-05-27

sql语句优化的13中方法 1，什么是“执行计划”？ 执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案，这个方案是由查询优化器自动分析产生的，比如一条SQL语句如果用来从一个 10万条记录的 ...

R读取MySQL数据出现乱码，解决该问题的方法总结

2017-05-23

R读取MySQL数据出现乱码，解决该问题的方法总结 我用的都是utf-8编码，电脑系统win7， MySQL-Front进行数据库的可视化。 1、我用的是RStudio，先去设置R的默认编码： Tools→Global Options...→Code→Savin ...