CDA俱乐部周末线下聚会回顾——Hadoop从部署到应用

CDA数据分析师俱乐部从2013年3月开始成功举办了很多次线下聚会讨论，积累了丰富的经验，基于大数据狂潮和数据分析业务的发展，现在我们改变聚会的形式和时间，将以CDA数据分析师驿站的形式，在每周六（18:30-20:30无特殊情况时间不变）邀您与大家围在一起，喝喝咖啡，谈谈合作，听听大数据牛人的真知灼见 。会员也可以发言和主题分享，只需要提前告知申请，并准备简单的ppt！

10月17日，CDA俱乐部线下活动回顾

主题：Hadoop从部署到应用

俱乐部特邀嘉宾：曹正凤老师
一、先用几分钟聊了下大数据现状。
二、转为Hadoop的安装与部署
  1.配置单机分布，
  2.进而布置成伪分布
  3.最后搭建集群分布的流程和编程（一连串代码就不写了。。）
三、最后讲到大数据的实际应用，主要有以下几点：
1.大数据提升预测准确性，
2.精准营销，整合营销，联合营销。 并以 谷歌、耐克等企业为例。

俱乐部特邀嘉宾：孙增辉老师。
从企业需求、技术实现等角度，讲解MapReduce、spark、storm三种分布式的优缺点。区别与联系。在运行海量数据时，公司主要有两种解决方式，一个是用大型计算机（两千万左右），二是采用分布式（价格便宜），所以在大部分企业中都是用分布式运行处理海量数据。Hadoop和spark的衔接，storm的性能优势及成本劣势。最后详细的讲解了三种软件在企业中应用的流程。

针对两位嘉宾的发言，其他会员进行了半个小时的提问，针对会员的各种问题，两位老师都一一解答。主要有一下几点：
1.现在企业中用的是 商业Hadoop还是免费版本的， 因为免费版本的要自己写程序，而上夜班的只要点点按钮就可以了，这对要不要学习Hadoop，很迷茫。
  因为商业的Hadoop的费用是很贵的，并且和企业的具体需求匹配度等问题，现在大部分企业都是使用免费版本的，例如 阿里 百度， 他们都是自定义开发Hadoop的。

2.我现在搭建过单机分布，想在想要研究Hadoop的维护方向，老师有何建议？
  如果你只是搭建过单机，对Hadoop的整体运行流程和应用都不了解，那还是从基本学起。现在维护方面有需求，但是没有形成规模，并且Hadoop更新太快了， 做维护研究，会贬值的，就是你学会了2.版本的维护，Hadoop的3.版本就上线了，那你就要从新学起

3.就想您说的Hadoop更新太快，那我们现在学习这些有用吗？会不会刚学习完，就更新了，还要重新学起？
Hadoop更新是很快，但主要从内存等方面更新， 代码原理是不会改变的， 所以把代码学会，就不怕Hadoop更新的快与慢了，但对Hadoop更新的特点要了解清楚


当投入到一件事情后，时间就会过得很快。不知不觉两个半小时已经过去，会员们还在积极讨论，但时间已经很晚了，不得不结束本次活动。相信会员们都收获了一定的知识或者想法，但还没有尽兴，我们创建了微信群，以便后期交流。后续俱乐部互动会持续展开。希望大家多多参与交流

期待下一期活动：《数据分析案例集》新书试读会：http://bbs.pinggu.org/thread-3932529-1-1.html