大数据非万能 却是商业定海神针

2017-12-31

大数据非万能 却是商业定海神针 对大数据的评论，一直褒贬不一，但是从民众的反馈中还是能够看出，大家对大数据的重视。但是，大数据并非万能的，这一点是必须要承认的。     在国内，三大互联 ...

理理大数据的脉络

2017-12-29

理理大数据的脉络 先看看商业智能大数据的生意到底是啥?说白了就是数据分析(analytics)的生意，原来的商业智能(business intelligences)也是分析的生意，如果把原来的商业智能称为分析1.0，那大数据其实就是分 ...

大并发大数据量请求的处理方法

2017-12-28

大并发大数据量请求的处理方法 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大 ...

大数据量高并发访问数据库结构的设计

2017-12-28

大数据量高并发访问数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数 ...

面试题-关于大数据量的分布式处理

2017-12-27

面试题-关于大数据量的分布式处理 题目：生产系统每天会产生一个日志文件F，数据量在5000W行的级别。文件F保存了两列数据，一列是来源渠道，一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问 ...

大数据量快速处理的架构设计

2017-12-27

大数据量快速处理的架构设计 在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这 ...

大数据在金融行业的应用与挑战

2017-12-27

大数据在金融行业的应用与挑战 A    具有四大基本特征 金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概 ...

大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...

如何防范人工智能、大数据、区块链、云计算的技术风险

2017-12-25

如何防范人工智能、大数据、区块链、云计算的技术风险 众所周知，人工智能、大数据、区块链、云计算这四项技术是Techfin市场中的顶梁柱。近日京东金融研究院发布了《2017金融科技报告——行业发展与法律前沿》( ...

面向大数据的分布式调度

2017-12-25

面向大数据的分布式调度 大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些 ...

Python判断两个对象相等的原理

2017-12-21

Python判断两个对象相等的原理 大部分的python程序员平时编程的时候，很少关心两个对象为什么相等，因为教程和经验来说，他们就应该相等，比如1==1就应该返回True，可是当我们想要定义自己的对象或者修改默认的 ...

介绍一下海量数据的处理方法

2017-12-20

介绍一下海量数据的处理方法 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对 于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数 ...

大数据时代的技术挑战

2017-12-17

大数据时代的技术挑战 Google的独立URL索引数量超过了1万亿，用户获得一次满意搜索的时间却不超过1秒；淘宝商品数高达8亿，每天有6000万用户登录淘宝寻找商品，最终要促成每天800万包裹量的交易；Monst ...

大数据成为信息科技新关注点

2017-12-16

大数据成为信息科技新关注点 最近，在信息科技领域，继云计算之后，“大数据”一词成为媒体争相追逐的焦点。对此，中国工程院院士、中科院计算技术研究所首席科学家李国杰接受《中国科学报》记者采访时说 ...

Python列表list数组array用法实例解析

2017-12-14

Python列表list数组array用法实例解析 本文以实例形式详细讲述了Python列表list数组array用法。分享给大家供大家参考。具体如下： Python中的列表(list)类似于C#中的可变数组（ArrayList），用于顺序存储结 ...

大数据如何改变世界？不尽数据滚滚来

2017-12-11

大数据如何改变世界？不尽数据滚滚来 世纪之初，全球化概念大热，弗里德曼告诉人们，世界是平的。大数据来袭的今天，人们越来越感觉，世界是透明的。大数据让社会生活更便捷的同时，也把人们的生活痕迹印刻在互 ...

文本分类和聚类有什么区别

2017-12-10

文本分类和聚类有什么区别 简单点说：分类是将一篇文章或文本自动识别出来，按照已经定义好的类别进行匹配，确定。聚类就是将一组的文章或文本信息进行相似性的比较，将比较相似的文章或文本信息归为同一组的技 ...

烧钱做的医疗大数据要怎么变现

2017-12-10

烧钱做的医疗大数据要怎么变现 最近几年， IT公司为了拿到大型公立医院信息平台的搭建权，用免费、烧钱等策略跑马圈地已司空见惯，似乎成为了一种“行规”。这是因为在我国，公立医院掌握着医疗的核心数据，企 ...

闲谈大数据和算法 知道这些让你受益无穷

2017-12-09

闲谈大数据和算法 知道这些让你受益无穷 本篇总结一下自己对大数据算法认知的过程。正文包含两部分：自己对算法的认知过程和对大数据算法的理解。 写这篇博客的原因有很多，总的来讲有下面几点： 自己在 ...

有没有想过 你的数据分析方法可能已经过时

2017-12-06

有没有想过 你的数据分析方法可能已经过时 信息时代，能吃到虫子的已不再是早起的鸟儿，而是那些数据驱动的、早起的鸟儿。像百度、阿里巴巴和腾讯这样的大公司，都在不断囤积数据，因为他们都知道数据是金灿灿 ...