实现R与Hadoop联合作业的三种方法

2016-06-07

实现R与Hadoop联合作业的三种方法 为了满足用R语言处理pb量级数据的需求，我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。 方法一：利用Streaming APIs Hadoop支持一 ...

大数据泡沫正无限膨胀

2016-06-02

大数据泡沫正无限膨胀 在当今企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。大数据将挑战企业的存储架构、数据中心的基础设施等，也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁 ...

O2O需要的不是Hadoop 而是大数据

2016-05-25

O2O需要的不是Hadoop 而是大数据 如题，但希望网友不要误解，这里的需要是指大数据技术在目前的发展进程中，是不会阻碍到O2O的应用，而对于O2O来说，最难的莫过于数据的来源。这想必也是众多掘金电商、O2O的厂 ...

9个最适合实时数据分析的应用领域

2016-05-21

9个最适合实时数据分析的应用领域 可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着 ...

这10家创业公司将大数据分析推向全新高度

2016-05-17

这10家创业公司将大数据分析推向全新高度 有结构、无结构数据的崛起创造了一个蓬勃发展的市场，其价值预计将在 2018 年达到415亿美元左右。大数据市场的快速增长造就了大量的供应商的出现，他们都希望能从中获 ...

掘金大数据产业链：上游资源+中游技术+下游应用

2016-05-12

掘金大数据产业链：上游资源+中游技术+下游应用 我们正处在一个数据量爆发增长的时代。 在摩尔定律长达 50 年的支配下， 当今的信息产业呈现出前所未有的繁荣，新的互联网技术不断涌现。从传统互联网的 PC终端 ...

使用大数据闪存打造融合数据平台

2016-05-07

使用大数据闪存打造融合数据平台 随着企业、服务提供商和超大型数据中心从描述性分析向预测性和规范性分析演进，结合了融合运营和分析数据管道的融合数据平台变得日益重要。大数据闪存可让数据处理平台快速访 ...

面向高维度的机器学习的计算框架-Angel

2016-05-06

面向高维度的机器学习的计算框架-Angel 为支持超大维度机器学习模型运算，腾讯数据平台部与香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。 Angel是使用Java语言开发的专有机器学习计算 ...

Kafka在大数据生态系统中的价值

2016-04-18

Kafka在大数据生态系统中的价值 近几年， Apache Kafka的应用有了显著的增长。Kafka最新的客户包括Uber, Twitter, Netflix, LinkedIn, Yahoo, Cisco, Goldman Sachs 等。Kafka是个高可扩展的生产消费者系统 ...

大数据考验整合能力

2016-04-16

大数据考验整合能力 大数据在带来新的商机和用户的同时，也带来了诸多挑战。 大数据存储主要考验的是技术整合能力和资源整合能力。大数据是一项持久的工程，也是一个不断迭代的过程，不能一蹴而就。  　 ...

大数据发展瓶颈:大数据到底能干什么?

2016-04-15

大数据发展瓶颈:大数据到底能干什么? 为什么谈到大数据，传统企业表现出更多的困惑?其原因是，企业决策者并不清楚大数据能给业务带来哪些价值，也不知道如何学习、使用大数据分析工具。而这些大数据工具就 ...

Hadoop技术全解析 深度挖掘大数据背后的秘密

2016-04-10

Hadoop技术全解析 深度挖掘大数据背后的秘密 大数据最近火热程度上升，而与之相关联的概念Hadoop也在被网友讨论？Hadoop到底是什么，它的技术基础是什么，主要用来干什么了呢？下面我们将详细探讨。 ...

大数据进行时:聚光灯后的四大推手

2016-04-07

大数据进行时:聚光灯后的四大推手 “大数据”这一话题在国内从今年起受到投资者追捧，也不断有高技术人才选择这个方向创业；但实际上国外对于“大数据”，已经走过了概念炒作阶段，出现了实际的应用，产生了实 ...

建立数据场的七大技能

2016-03-29

建立数据场的七大技能 成为数据极客，建立自己的数据场需要哪些技能呢?遇到普通的数据，通过SQL做分析。如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程。 0 ...

Storm常见问题及解决方案总结

2016-03-19

Storm常见问题及解决方案总结 Storm 是一个开源的、大数据处理系统，与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点 ...

大数据技术人员工具包最全集合

2016-03-15

大数据技术人员工具包最全集合 数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、 ...

数据科学家和大数据技术人员工具包汇总

2016-03-14

本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享 ...

Hadoop数据操作系统YARN全解析其它

2016-03-08

Hadoop数据操作系统YARN全解析其它 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许多个应用程 ...

大数据吹了这么久为什么还落不了地？就因为这九点

2016-03-07

大数据吹了这么久为什么还落不了地？就因为这九点 尽管在Hadoop与NoSQL部署方面做足了准备，同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。     有时候一艘巨轮的 ...

2分钟读懂Hadoop和Spark的异同

2016-03-06

2分钟读懂Hadoop和Spark的异同 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么 ...