大数据时代的质量观_数据分析师
2012年2月,美国《纽约时报》发表了一篇主题为“大数据时代”的文章,称大数据时代已经来临,数据分析大师们正在获得更多发展机遇。
大数据是全球新型工业化进程的必然产物,与计算机科学技术的发展息息相关。所谓大数据,一般是指规模巨大的数据集,这些数据由于存储量和结构规模庞大,无法用现有的软件系统和统计模型进行分析和处理,无法完成数据的撷取、分类、关联和趋势等方面的分析,更难以达到数据分析运用于经营和管理等方面的目的。从统计学的角度来看,大数据包含四个基本特点:一是数据的体量庞大,从TB级别跃升到PB级别;二是数据的种类繁多,甚至打破我们对于常规统计量的认识;三是价值密度较低而商业价值较高;四是数据处理的速度快。
大数据的出现对质量科学的影响非常巨大和深远,这里探讨的质量观,一般是指人们对于质量的基本看法和观点,可以看成是一种质量科学领域的世界观。大数据背景下的质量观关系到我们对于质量科学未来发展的基本方向的认同,也会引起我们对于当前质量科学技术的思考和改进。
首先,大数据是面向质量过程的总体数据,而不再局限于随机样本。质量科学的进步最为内在的动力就是数理统计方法,其中抽样技术是最核心的方法之一。随机抽样是当代质量管理技术最重要的手段和方法,也是六西格玛管理和质量改进的重要技术特征。对于一个完整的工业过程而言,我们几乎可以收集到全部的总体数据。而大数据无法使用常规的统计软件和工具完成计算和分析,因此即便是收集到的全部统计数据,我们也几乎无法完成预定的质量管理和数据分析任务,需要借助专门的海量数据挖掘和云计算技术。这就出现了一个矛盾,即面向总体质量统计的大数据资源理论上可以满足一切质量管理的需要,但质量管理实践中却无法实现常规的统计分析和监控,因为数据量过于庞大。这个矛盾的解决方案存在很多争议,一个基本的共识就是允许一定误差的抽样方法仍然是未来一段时期内最有效率和最为公平的质量管理方法。
其次,大数据倾向于混杂计算的标准,而不是像以前一样精确。精确建模和计算是统计时代的产物,也是演绎逻辑的顶峰。在数据相对匮乏的年代,我们总是要求一切统计数据都要精确。但在大数据时代的数据,混杂而不精确性未必是缺点,而可能是一个亮点。接收数据的混杂性,必须承认一些基本的事实和想法。一是当数据量以几何级数增加的时候,降低数据容差可以获得更多的数据信息;二是要想获得大规模数据带来的好处,混杂应该是一种标准途径而不是竭力避免的;三是要认识到大数据的简单算法比小数据的复杂算法更有效。
最后,大数据分析更关注相关关系,而不是因果关系。传统的质量管理方法尤其注重因果逻辑,总是希望通过实验设计或者统计模型来描述事物之间的关系,而且这种关系是有因果逻辑支持的,很多质量改进技术都是在因果问题上做文章,用精确的数据模拟真实的质量生产过程,从而得到精确的结论。但大数据分析的主流研究成果相对更加注重“效果逻辑”,只强调数据之间存在的相关关系,而不管这种关系在实践中如何产生。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28