大数据时代要有大数据思维
大数据研究专家维克托·迈尔-舍恩伯格有一句名言:世界的本质是数据。他认为,认识大数据之前,世界原本就是一个数据时代;认识大数据之后,世界却不可避免地分为大数据时代、小数据时代。
那么,究竟什么是大数据呢?麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。在军事领域,大数据时代的变革绝不限于技术层面,本质上,它为我们观察世界提供了一种全新思维。
从样本思维转向总体思维。人类研究战争的规律特点,预判战场形势,采样一直是主要的数据获取手段,这是在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得并分析更多的数据,而不再依赖于采样,从而可以更全面地认识战争,可以更清楚地发现样本无法揭示的细节信息,清晰地观察到战场的各个环节。在信息化战场上,通过情报、侦察和监视系统以及有人、无人战机,一支军队几乎能够“看见、听见和感觉”到战场上发生的所有状况,然后通过超级计算机的速度和精度以及人的敏捷性,来理解和解释现实世界,协助指挥官和分析人员以极短的时间来理解传感器收集的海量数据。也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,而不再因诸多限制不得不采用样本研究方法,相应的,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识战争。
从精确思维转向容错思维。在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论很可能“南辕北辙”,因此,通常十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。
从因果思维转向相关思维。在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来的战场形势,而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,相关关系甚至可以超越因果关系,成为了解战争、分析战争的更好视角。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,才能更好地分享大数据带来的深刻洞见。
数据分析咨询请扫描二维码
数据分析工具推荐 数据分析工具的选择至关重要。不同工具适用于不同的需求和场景。以下是一些推荐的数据分析工具,根据您的需求 ...
2024-11-27选择适合您需求的数据分析工具 数据分析作为商业决策过程中的关键环节,工具的选择至关重要。不同的工具适用于不同的场景和需求 ...
2024-11-27数据架构文档的编写涉及多个方面,包括内容结构、编写原则和具体要求。遵循规范可以帮助团队更好地理解和管理数据架构,支持项目 ...
2024-11-27挑战与解决方案概述 在数字化时代,数据开放共享对于推动创新和发展至关重要。然而,这一进程面临诸多挑战。保护用户隐私、确保 ...
2024-11-27促进科学研究和创新 数据开放共享为研究人员提供更广泛的资源和合作机会,加速科学知识的发展。通过访问他人的数据集,验证研究 ...
2024-11-27数据组织与存储策略 数据模型是数据仓库和商业智能系统的核心,通过合理的数据组织和存储策略,确保高效、低成本、高质量地利用 ...
2024-11-27持续关注数据系统运行状态 - 数据设计与开发完成后,维护与优化工作成为至关重要的环节。这个过程需要持续且细致的关注,以确保 ...
2024-11-27数据服务未来的趋势 智能化和自动化: 随着人工智能和机器学习技术的飞速发展,数据服务领域正逐渐朝着更智能化和自动化的方向 ...
2024-11-27未来最有前景的行业主要集中在以下几个领域: 人工智能与机器学习:人工智能被认为是未来最具潜力的行业之一,其应用范围广泛 ...
2024-11-27根据多条证据,目前多个行业展现出良好的发展前景。以下是一些被认为具有最好发展前景的行业: 人工智能与机器学习:人工智能 ...
2024-11-27学习数据分析后,可以在多种类型的单位找到工作机会。这些单位包括但不限于: 政府机关:数据分析师在政府机构中扮演重要角色 ...
2024-11-27必备的职业技能 统计学基础 - 理解概率、假设检验、回归分析等统计概念。 - 运用统计方法对数据进行分析和解读。 编程能力 - 掌 ...
2024-11-27基础课程 - 统计学基础: 统计学是数据分析的基石,包括概率、假设检验、回归分析等基本知识。这有助于分析师更好地理解数据背后 ...
2024-11-27数据分析领域涉及众多工具软件,涵盖了从数据处理、分析到可视化的各个方面。在选择适合自己需求的工具时,需要考虑数据规模、分 ...
2024-11-27在数据分析领域,选择合适的工具至关重要。不同的软件适用于不同的需求和技能水平。以下是几款值得考虑的数据分析软件: - Table ...
2024-11-27数据分析中常用的Excel与Python函数公式涵盖了广泛的应用场景。掌握这些基础和高级技巧对于成为一名优秀的数据分析师至关重要。 ...
2024-11-27Python是一种高级编程语言,由荷兰程序员Guido van Rossum于1989年圣诞节期间开始开发,并于1991年首次发布。Python的设计哲学强 ...
2024-11-27课程内容 数学基础: 高等数学、线性代数、概率论与数理统计、微积分等为算法设计和数据分析打下基础。 编程与算法: 掌握 ...
2024-11-27爬虫工程师是互联网时代中至关重要的职业之一,他们的工作内容主要涉及编写和维护网络爬虫程序,进行数据采集与清洗,设计系统架 ...
2024-11-27技能需求 数据管理与建模 - 掌握SQL、HiveQL、Spark SQL等数据库语言,进行复杂数据查询和分析。 - 使用数据建模工具如ER/Studio ...
2024-11-27