大数据技术如何才能发挥最佳状态_数据分析师考试
过去的经验表明,充分发挥规模化优势能够切实提升分析机制所带来的实践价值。不过如果把大数据看作一柄榔头,可并不是所有问题都属于等待敲下的钉子。
很多人都误以为在大数据解决方案中,处理对象的规模总是越大越好。事实上,人们往往会从不同的立场出发,对“越大越好”这一命题给出自己的答案,而我汇总出了几下几种典型情况:
深信不疑: 这是一种根深蒂固的观念,有些人认为无论实际情况如何,更庞大的规模、更迅捷的速度以及/或者更多样的数据类型总是能够带来更具实践价值的分析结论,而这也正是他们眼中大数据分析的核心价值所在。如果在实际操作中找到理想的结论,那么根据他们的思维方式,这仅仅是由于具体处理者不够努力、不够聪明或者没有使用正确的工具及方法。
盲目迷信: 这种观点认为,大数据的绝对规模本身就是其价值的切实体现,而这与我们是否能够从中获取到实际结论并无关系。根据这种思维方式,如果我们以大数据所支持的特定企业应用程序为出发点对大数据功能进行评估,那么完全不需要像当下分析领域这样迫切需要数据科学家的帮助、而能够任意将数据保存在数据湖当中以支持未来的探索活动。
视为负担: 这种观点认为,数据的庞大规模并不是带来正面或者负面结果的必要条件。不过有一项事实明确而不容否认,即现有数据库在存储与处理能力方面的匮乏根本无力负担大数据的高强度负载,因此需要新的平台加以支撑(例如Hadoop)。如果我们不能将发展脚步与数据的迅猛增长保持一致,那么这种观点认为企业的当务之急是将核心业务转移到新型数据库当中。
绝佳机遇: 就我个人而言,这才是看待大数据的正确方式。其核心实质在于随着数据规模的不断扩大、数据流速度的不断提升以及数据来源与格式的持续增长,我们需要以更加快捷而有效的方式所数据中提取出前所未有的分析结论。这种观点不会迷信或者过度依赖大数据,因为我们承认某些结论完全可以通过小规模数据分析方式得出。同时,这种观点也不会将数据规模视为一种负担,而单纯只是需要通过新型数据库平台、工具以及实践方案解决的另一项技术挑战。
去年,我曾在一篇博文中谈到大数据中的核心用例,主要探讨角度是从“绝佳机遇”层面出发。而去年年底,我通过亲身观察发现大数据的核心“业务”价值主要受到增量化内容在提供增量化背景信息方面的影响。如果大家希望通过数据分析来了解事物的全貌以及蕴藏在其背后的深层含义,那么背景信息总是越多越好。同理,如果大家希望将与当前问题相关的所有变量、关系以及模式进行全面考量的话,内容也总是越多越好。总体而言:更多背景信息加上更多相关内容通常意味着更大的数据规模。
大数据的价值还更多地体现在其纠正错误的能力,这种价值在小规模数据当中往往很难体现。在博文中,我曾援引某位第三方数据科学家的观察结果,发现培训信息集合当中包含的数量量越小、几类常见风险状况的发生可能性就越高。首先,小规模数据往往会令我们忽视某些至关重要的预测性变量。大家也有可能对某些切实具备代表性的样本信息产生误解。除此之外,大家往往能够在具备更为复杂并能切实体现底层工作关系的数据集的前提下,保证自身将某些虚假的相关性联系排除出去。
规模化的美好
相信每个人都已经意识到,某些数据类型及特定用例在规模化条件下能够比其它资源带来更出色的分析结论推动作用。
在这方面,我最近发现了一篇非常出色的评述文章,其中对一种特殊类型的数据——也就是低密度细化行为数据——进行了深入阐释,指出其能够在规模化条件下显著提高预测性分析的准确率。该文作者Junqué de Fortuny、Martens以及Provost指出,“此类数据集的关键特性在于其低密度:对于任何给定实例,绝大多数特征对于实际价值的贡献为零、或者说‘没有意义’。”
其中最值得注意的(作者们也引用了大量研究资料来支持他们的讨论)是,此类数据已经成为不少关注于客户分析任务的大数据应用程序的核心所在。社交媒体行为数据完全满足以上描述,而Web浏览行为数据、移动行为数据、广告响应行为数据以及自然语言行为数据等等也全部与之相符。
“事实上,”三位作者指出,“对于大多数常见的预测分析型业务应用程序来说,例如针对银行及电信、信用评分以及资源消耗管理等任务的应用,此类数据已经被普遍作为预测性分析的关键性素材……其特性往往体现在人口、地理位置以及个人心理倾向方面,并且包括对特定行为的统计汇总——例如企业此前进行过的采购行为。”
在谈到规模较大的行为数据集往往比小规模数据集更具分析价值的核心原因时,三位作者指出:“少数特定的已知行为往往无法在没有庞大数据量作为依托的前提下被准确观察得出。”这是因为在小型数据集当中,除非其表现超出预先设定的具体范围,否则个人行为是不会被记录下来的。但当我们把目光投向所有相关人员整体,很有可能会观察到那些仅仅出现过数次甚至一次、但却指向特定利基层面的特殊行为类型。在小规模数据集当中,由于对象数量与行为特征相对有限,我们很可能会忽略掉上述更为丰富的细节信息。
行为数据集的来源越丰富、预测模型就越能获得理想的施展空间,从而为未来可能出现的更为广泛的潜在场景提供更具参考价值的预测结论。因此,规模越大通常意味着分析效果越好。
有时候越大意味着越难理解
尽管如此,三位作者也注意到在某些情况下、上述结论可能并不成立,而这一切都要归结于特定行为特征的预测价值层面。基本上,权衡机制充当着行为预测模型的基础。
每一种被纳入到预测模型内的新型增量化行为特征都应当具备与分析目标的高度相关性,只有这样才能提高分析收益并保证预测模型有能力克服更显著的内容差异化状况——也就是过度拟合与错误预测——但这往往需要有规模更大的功能集作为依托。正如几位作者指出:“如果不能对模型进行平衡与改进(假定已经选定了正确的数据子集),与核心主旨无关的大量信息只会增加出现偏差与过度拟合状况的机率。”
很明显,当不利于得出预测性结论时,数据规模并非越大越好。相信没人愿意在大数据分析过程中受到其臃肿规模的严重拖累。在这种情况下,我们的数据科学家则需要开动脑筋,想办法将导入模型的数据规模尽量缩小、从而使其最大程度与当前分析任务的特性相匹配。
数据分析咨询请扫描二维码
在现代信息技术的广阔世界中,大数据架构师扮演着至关重要的角色。他们不仅引领着企业的数据战略,还通过技术创新推动业务的不断 ...
2024-11-04在当今数字化时代,数据分析师已成为企业关键角色,帮助决策者通过数据驱动的洞察实现业务目标。成为一名成功的数据分析师,需要 ...
2024-11-03在当今数字化的世界中,数据分析已经成为推动商业决策的关键因素。随着公司和组织越来越依赖数据来驱动业务战略,对数据分析专 ...
2024-11-03《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28