用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

9种人人都应该掌握的数据分析思维

2018-08-13

9种人人都应该掌握的数据分析思维 1. 分类 分类分析的目标是：给一批人（或者物）分成几个类别，或者预测他们属于每个类别的概率大小。    举个栗子：“京东的用户中，有哪些会在618中下单？” ...

当天文学遇到大数据

2018-08-02

当天文学遇到大数据 浩瀚的宇宙自古以来就一直吸引着人类进行不懈探索。天文学这门基于观测的最古老的自然科学，随着科技的进步，目前也迈进了大数据时代。 天文学是最早的数据驱动学科，云计算与大数据技术 ...

关于大数据与人工智能的未来

2018-07-24

关于大数据与人工智能的未来 看过几本大数据的书，吴博士这本，思路清晰，可读性强，于是，我不辞辛劳，从23万余字的著述中，摘要5千余字，试图厘清和记忆，并以此为基础拓展阅读。比如，李彦宏的《智能 ...

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据

2018-07-22

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据 7月19日，中国大数据算法大赛京东赛区——京东JDATA算法大赛决赛在京东总部举行，经过激烈角逐，Trident团队夺得大赛冠军，独得50万大奖。本次大赛是 ...

实现潜在大数据交付的七个步骤

2018-07-12

实现潜在大数据交付的七个步骤 大数据趋势代表了不断变化的处理大量数据的需求，需要新的技术解决方案，而不一定是老一代的数据库处理方式。那么，企业开始与大数据打交道时需要考虑哪些因素呢？   & ...

用大数据更好地为群众服务

2018-06-30

用大数据更好地为群众服务 从房产证到不动产权证,两年半的时间变化的不只是名称,更是服务和效率。数据联网、一窗式办理、减少资料提交、“T+1”隔日办结、零跑腿、驻点服务……每一项便民措施的背后,都是济南市 ...

透视数据中心变更 应对“大数据”分析

2018-06-29

透视数据中心变更 应对“大数据”分析 到目前为止，你的大数据分析和商业智能项目还在顺畅地自行运转。但从长远来看，通过对现有架构进行简单扩展来保持顺畅的数据访问可能不是最好的解决办法。   &n ...

如何对混合型数据做聚类分析

2018-06-10

如何对混合型数据做聚类分析  利用聚类分析，我们可以很容易地看清数据集中样本的分布情况。以往介绍聚类分析的文章中通常只介绍如何处理连续型变量，这些文字并没有过多地介绍如何处理混合型数据（如同 ...

python通过opencv实现批量剪切图片

2018-05-24

python实现图片处理和特征提取详解 这是一张灵异事件图。。。开个玩笑，这就是一张普通的图片。 毫无疑问，上面的那副图画看起来像一幅电脑背景图片。这些都归功于我的妹妹，她能够将一些看上去奇怪的 ...

解析大数据市场格局

2018-05-24

解析大数据市场格局 随着时间的推移，大数据的能量将逐步引起更多的关注，企业需要相关的分析能力以取得竞争优势进而改善运营效率，而相关的技术以及服务会相继部署，大数据市场规模将大幅壮大，从现在到2017年 ...

大数据引领贵州创新发展

2018-05-13

大数据引领贵州创新发展 即将于5月底召开的2018数博会，必将让外界再次聚焦贵阳，聚焦贵州大数据。短短几年间，从无到有，从有到优，贵州大数据惊艳世界。刚刚公布的一季度经济总体运行情况，贵州以10.1%的GDP ...

海量信息处理，是大数据时代的关键

2018-04-21

海量信息处理，是大数据时代的关键 海量信息处理，是未来发展关键     视频图像监控系统通过多年的建设，已成为公安机关打防管控的重要手段和感知城市信息的重要途径。随着视频监控系统建设的不 ...

浅谈Python的Django框架中的缓存控制

2018-04-18

浅谈Python的Django框架中的缓存控制 关于缓存剩下的问题是数据的隐私性以及在级联缓存中数据应该在何处储存的问题。通常用户将会面对两种缓存： 他或她自己的浏览器缓存（私有缓存）以及他或她的提供者缓存（ ...

如何建立数据仓库架构

2018-03-13

如何建立数据仓库架构 每一个数据仓库有一个架构。这架构要么是即时的或计划过的；或隐式的或形成文件的。不幸的是，许多数据仓库开发时并没有一个明确的架构，这极大的限制了它的灵活性。在没有架构的情况下， ...

大数据处理之道(预处理方法）

2018-02-28

大数据处理之道(预处理方法） 一：为什么要预处理数据？ （1）现实世界的数据是肮脏的（不完整，含噪声，不一致） （2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高 ...

常用几种排序算法的时间复杂度和空间复杂度

2018-02-27

常用几种排序算法的时间复杂度和空间复杂度 常用的排序算法的时间复杂度和空间复杂度 1、时间复杂度 （1）时间频度 一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能 ...

当“大数据”落地，当技术接轨商业

2018-01-22

当“大数据”落地，当技术接轨商业 这些书中，公认的以舍恩伯格的《大数据时代》为“国外大数据系统研究的先河之作”、“迄今为止关于大数据最好的一部着作”,那么，在众多所谓的“《大数据时代》之后必读之作 ...

大数据时代 个性化服务落地四步骤

2018-01-17

大数据时代 个性化服务落地四步骤 大数据的迅速增长及相关技术的发展，正在带来全新的商业机遇。大数据将怎样改变人们的生活？又将如何改变企业的生意？维克托·尔耶·舍恩伯格在《大数据时代：生活、工作与思 ...

大数据+分析学 数字油田的两把利剑

2018-01-10

大数据+分析学 数字油田的两把利剑 在石油和天然气行业，数据都是以太字节(TB)和拍字节(PB)来表示的。这两个词语对于你来说或许有些陌生，下面我给你打个比方，一切就清晰明了了。 一个吉字节(GB)相当于七分 ...