当“大数据”铺天盖地般向我们涌来,人们往往期冀能够对大数据能够有更进一步的了解,“数据挖掘”因此成为我们理解大数据概念绕不过去的“坎”。通过将大数据与数据挖掘进行对比分析,将有助于人们了解大数据的来龙去脉和未来真实走向。
1.基本概念
数据挖掘,顾名思义就是从大量的数据中挖掘出有用的信息,即从大量的、不完全的、有噪声的、随机的、模糊的数据中,提取隐含其中的、规律性的、人们事先未知的、但又是潜在的有用信息和知识的过程。数据挖掘是一个在海量数据中利用各种分析工具发现模型与数据间关系的过程,它可以帮助决策者寻找数据间潜在的某种关联,发现被隐藏的、被忽略的因素,因而被认为是在这个数据爆炸时代解决信息贫乏问题的一种有效方法。数据挖掘作为一门交叉学科,融合了数据库、人工智能、统计学、机器学习等多领域的理论与技术。数据库、人工智能与数理统计为数据挖掘的研究提供了三大技术支持。
大数据是通过高速捕捉、发现和分析,从大容量数据中获取价值的一种新的技术架构。著名研究机构IDC给大数据的定义,有四个"V"字开头的特征:Volume(体量大),Velocity(速度快),Variety(种类杂),Value(价值大)。Volume是指大数据巨大的数据量与数据完整性�Velocity可以理解为更快地满足实时性需求;Variety则意味着要在海量、种类繁多的数据间发现其内在关联;Value最重要,它是大数据的最终意义:挖掘数据存在的价值。
2.相互联系
大数据是数据挖掘的概念再升级。相比于兴起只有2~3年的大数据概念,已有20多年发展的数据挖掘可称得上大数据的开山鼻祖。因为大数据和数据挖掘的本质是相同的――对数据进行挖掘分析,以发现有价值的信息。而且大数据的兴起,正是在人工智能、机器学习和数据挖掘等技术基础之上发展起来的,而人工智能、机器学习又是在为数据挖掘服务。从表面上看,大数据与数据挖掘的显著区别在于“大”上。然而深入分析就会发现:一方面,数据挖掘的对象不仅可以用于少量的数据,而且同样适用于海量数据,只是由于挖掘方法和技术工具的不断升级换代,换了个新的名称而已;另一方面,大数据的本质不在于“大”,而是以崭新的思维和技术去分析海量数据,揭示其中隐藏的人类行为等模式,由此创造新产品和服务,或是预测未来趋势。所以大数据和数据挖掘的概念在一定时期还会并存,因应于使用的时机、场合或使用人的习惯,真正的关键点是如何体现出数据的价值。
大数据是数据挖掘产业化的表现。长久以来,数据挖掘的经典案例――“啤酒与尿布”被广为传颂,然而这一传奇故事显然跟不上时代大发展的步伐,取而代之的是谷歌成功预测流感的案例。数据的价值在于信息,而技术的价值在于利润,数据挖掘可以看作是专业技术领域的专业名词,到了商业领域就需要进一步的包装与升级。只有这样,一系列的开放式平台、技术解决方案才能迅速“火”起来。显而易见,这种商业的运作模式已经非常成熟和成功。目前,大数据已被视为创新和生产力提升的下一个前沿,正成为国家竞争力的要素之一,在世界范围内日益受到重视,多国政府加大了对大数据发展的扶持力度,甚至上升到国家战略的高度。某咨询公司研究显示,全球对大数据项目投资总额2012年已达45亿欧元(约60亿美元),2013、2014两年均会保持约40%的增长速度。
3.简要小结
当前,数据挖掘在专业领域的地位已经非常牢固,但大数据还受到民众和业界的诸多质疑,认为是一种商业噱头和忽悠。其实很多争论实质上并非在讨论同一问题。比如,有人举例说,《大数据时代》的作者维克托・迈尔―舍恩伯格认为 , “人们处理的数据从样本数据变成全部数据”的结论至少从目前的数据收集和分析能力来说是不可能实现的。我们应该看到,没有不变的真理,只有客观规律。任何技术都不是万能的,作为一种技术而言,它仅代表了一种发展方向,它因为能够解决某一现实问题而具备存在的价值;至于技术的商业化运用成不成功,则还受制于运用推广的方式等其它诸多因素。例如,对比上世纪末“互联网经济泡沫”破灭时的哀鸿遍野和前不久阿里巴巴在美国上市的一片赞歌,可以看出:互联网技术的发展势不可挡,互联网产业发展一波三折,只能说产业和技术紧密相联,但终究不是一回事。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21