热线电话:13121318867

登录
首页职业发展大数据平台的八大特征_数据分析师
大数据平台的八大特征_数据分析师
2014-11-24
收藏

大数据平台的八大特征_数据分析师


最火的是什么?无疑莫过于大数据。对于大多数企业,随着互联网、移动互联网以及企业自身应用系统的普及,企业的数据正呈现前所未有的快速增长,特别是非结构化数据,如视频、图片、微博碎片化数据等给企业带来很大挑战。
  IDC的研究表明,2009~2020年,全球数字信息量将实现44倍的增长,其中需要管理的文件数将增加67倍,总存储容量将增长30倍。企业在PB级甚至EB级的数据中寻找相关信息无异于大海捞针,制订信息驱动决策的成本和复杂性将与日俱增。
  在这个数据量爆炸式增长的大数据时代,面对日益增长的非结构化和多结构化数据洪流的冲击,企业如何管理、分析数据,发掘数据价值并形成洞察力,已经成为企业提升竞争力的关键因素。当前大数据的显著特征、大数据平台应该具备的技术特征,以及大数据解决方案技术路线及趋势有: 
大数据的五大显著特征
  从总体趋势来看,大数据与传统数据相比具有以下显著特点:
  第一、数据规模;
  第二、数据类型;
  第三、数据处理能力;
  第四、数据的分析方式;
  第五、数据的投资成本。
  这五方面是企业用户特别关注的关键因素。而在技术发展路线方面目前大数据的技术发展路线主要分为两大类:
  第一、以Teradata为代表,在RDBMS上面引入MapReduce构建大数据分析平台。它的优势是既可以借鉴MapReduce过程并行机制的优势,同时也发挥已有MPP数据仓库并行处理的能力。
  另外,这种类型的产品已经经过多年的实践验证。比如MySpace、AT &T等都在使用Teradata Aster平台,而且商用化程度比较高,已经成为标准化的产品。
  第二、开源大数据技术路线。目前两个比较有代表性的方案就是Cloudera和Hortonworks,而国内也有服务商开始尝试走开源大数据技术路线。
  不同的服务商进行针对性论证以后,分别选择了不同的技术线路路径。例如Teradata选择了Aster路线,而有些服务商则选择了开源路线。总体来看,大数据市场的竞争还是比较激烈的。
  企业级大数据平台八大特征
  从大数据未来发展来看,大数据分析规模势必会达到PB级,这种大规模数据趋势对于Teradata来讲更多是机遇。据了解,Teradata目前在国内已
经有部分客户的数据规模超过PB级,都已经迈入了PB级时代。但是,目前的大数据分析更多还是专注于企业内的结构化数据,未来移动互联网分析的数据、电子渠道数据也会融合到大数据分析的范畴之内。
  对企业来讲,他们逐步开始了大数据认识的观念转变,即由过去数据分析层面逐渐向数据资产的角度演变。李向前认为,过去数据分析是要挖掘结构化数据的价值,探索用户的行为特征。而未来,企业会把数据当作资产,可以向企业内部或者外部的各个部门,以及外部企业或第三方公司提供分析服务。
  企业既然把数据作为重要的资产来管理,就需要对数据资产进行有效性的划分。厘清有效资产,借助于大数据分析平台,去验证数据带来的价值。
  据了解,Teradata一直主张所有系统的建设都以业务价值为驱动,同时也建议用户首先在大数据平台上进行探索,先看清楚它能产生的价值,然后再考虑用什么样技术去扩展业务支撑的领域。这说明,Teradata的理念与大数据的理念是一致的。
  对于企业级用户来讲,首先是要满足业务需求,其次只有当大数据平台具备以下八大技术特征,才能够符合企业级用户的需求。
  第一、标准性
  它应该支持多个SI都可以做开发,而不应该受到限制。
  第二、易用性
  使用要简单,不改变业务的使用习惯,避免冗长的开发过程耽误营销时机。
  第三、易管理
  大数据系统的规模可能达到成千上百个节点,规模可能都在PB级以上。管理系统的挑战就更高,就需要提供集中的、便捷的管理方式,确保IT人员或者开发人员非常容易地管理系统。
  第四、高可用性
  如磁盘故障、网络故障、服务器故障等都有可能影响大数据平台的稳定性或者连续性。
  第五、成熟性
  采用商用化的成熟产品,而不是每天一个版本去升级,没有办法满足应用需要。
  第六、高效性
  现在主流的大数据分析都用到MapReduce技术,在MPP基础上,能够引入MapReduce做到过程的并行化,以实现更高的效率。
  第七、互通性
  企业内部搭建企业级数据仓库,在引入大数据分析平台后,如何形成合力满足企业分析的能力?这就需要做到两个平台互通,要能做到接入全局数据可用,做到数据的透明访问。例如,访问大数据分析平台就可以透明地访问到原有企业级数据仓库平台的数据。
  第八、安全性
  随着数据安全提高到更高的层面,必须做到敏感数据的安全管控,包括个人身份信息、地址信息等隐私或者敏感信息,在大数据分析平台也应该具备这样的能力。
       CDA数据分析师培训官网

数据分析咨询请扫描二维码

若不方便扫码,搜微信号:CDAshujufenxi

最新资讯
更多
客服在线
立即咨询