文 | 张小彦
在大数据时代,混乱的、无结构的、多媒体的海量数据,通过各种渠道源源不断地积累和记载着人类活动的各种痕迹。探索性数据分析可以成为了一个有效的工具。
美国约翰·怀尔德杜克(John Wilder Tukey)1977年在《探索性数据分析》(Exploratory Data Analysis)一书中第一次系统地论述了探索性数据分析。他的主要观点是:探索性数据分析(EDA)与验证性数据分析(Confirmatory Data Analysis )有所不同:前者注重于对数据进行概括性的描述,不受数据模型和科研假设的限制,而后者只注重对数据模型和研究假设的验证。他认为统计分析不应该只重视模型和假设的验证,而应该充分发挥探索性数据分析的长处,在描述中发现新的理论假设和数据模型。
探索性数据分析有别于初始性数据分析(initial data analysis - IDA)。初始性数据分析的聚焦点是分析鉴别统计模型和科研假设测试所需的条件是否达到,以保证验证性分析的可靠性。在这个分析过程中对不符合条件的数据进行缺值填补、数据转换、异常值舍弃等处理以增强分析的准确性。探索性数据分析包含初始性数据分析,但它的出发点不仅是确定数据质量,而且更重视从数据中发现数据分布的模式(Patten)和提出新的假设。
在以抽样统计为主导的传统统计学中,探索性数据分析对验证性数据分析有着支持和辅助的作用。但由于抽样和问卷都是事先设计好的,对数据的探索性分析是有限的。到了大数据时代,海量的无结构、半结构数据从多种渠道源源不断地积累,不受分析模型和研究假设的限制,如何从中找出规律并产生分析模型和研究假设成为新挑战。探索性数据分析在对数据进行概括性描述,发现变量之间的相关性以及引导出新的假设方面均大显身手。从逻辑推理上讲,探索性数据分析属于归纳法(Induction)有别于从理论出发的演绎法(Deduction)。因此,探索性数据分析成为大数据分析中不可缺少的一步并且走向前台。高速处理海量数据的新技术加上数据可视化工具的日益成熟更推动了探索性数据分析的快速普及。
美国2014年出版的《数据科学实战》(Rachel Schutt, Cathy O’Neil著,冯凌秉、王群峰译)一书中,探索性数据分析被列为数据科学工作流程中的一个能影响多个环节的关键步骤。(见下图)
可以通过建立垃圾电子邮件过滤器的过程考察一下探索性数据分析的作用。
由于电子邮件是自动积累的,各种商业广告常常充斥邮箱,每天都给用户带来很多不便。我们凭直觉和经验可以判断哪个是垃圾邮件,但人工清理这些垃圾很浪费时间。建立垃圾邮件过滤器的第一步是从大量邮件中随机抽样出100条(或更多),人工地将它们分成有用邮件和垃圾邮件。第二步是用探索性数据分析对筛选出的垃圾邮件进行分析统计出哪类词汇出现的机率最高。比如各类促销和诱惑语言等,根据该类语言出现的频度,可选出最常出现的5 到10个词。第四步,以选出的词为基础建立初始邮件过滤模型并开发邮件过滤软件程序,然后用它对一个大样本(1000或更大)进行垃圾邮件的过滤试验。第五步,对过滤器筛选出的垃圾邮件进行人工验证,用探索性数据分析计算过滤的总成功率和每个词的出现率。第六步,用成功率和出现率的结果进一步改进过滤模型,并在邮件处理过程中增加过滤器,根据事先定好的临界点(Threshold),增加或减少过滤词汇的功能(机器学习)。这样,该垃圾邮件过滤器将不断地自我改进以提高过滤的成功率。最后,应用数据可视化技术,各个阶段的探索性数据分析结果都可以实时地用动态图表展示。
从这个过程中我们可以看到:
(1)探索性数据分析能帮助我们从看似混乱无章的原始数据中筛选出可用的数据;
(2)探索性数据分析在数据清理中发挥重要作用;
(3)探索性数据分析是建立算法和过滤模型的第一步;
(4)探索性数据分析能通过数据碰撞发现新假设,通过机器学习不断的改进和提高算法的精准度;
(5)探索性数据分析的结果,通过数据可视化展示,可以为邮件过滤器的开发随时提供指导和修正信息。
按照传统统计的“垃圾进,垃圾出”(Garbage in, garbage out)的金科玉律,混乱和不规则的数据是无用的垃圾。在抽样统计中,每一个样品数据都必须经过严格的检测确保其准确性和可靠性。在大数据时代,混乱的、无结构的、多媒体的海量数据通过各种渠道(Internet of Things, IoT)源源不断地积累和记载着人类活动的各种痕迹。探索性数据分析这个统计课程里一带而过的分析方法在处理大数据的过程中却成为了一个有效的工具。正如美国探索性数据分析创始人约翰?怀尔德杜克所说:“面对那些我们坚信存在或不存在的事物时,‘探索性数据分析’代表了一种态度,一种方法手段的灵活性,更代表了人们寻求真相的强烈愿望。”
作者简介:
张小彦,社会学博士,现任一家软件公司董事长兼资深科学顾问
20世纪80年代由费孝通先生推荐赴美留学。1989年获匹兹堡大学社会学博士。二十多年来遵循费老“社会学为社会服务”的教诲,将社会科学与现代信息技术相结合开发社会管理和决策支持软件系统。曾为美国联邦政府和二十几个州政府设计、建立了毒品滥用预防活动管理信息系统。2007至2010年,被美国卫生部聘为毒品滥用预防和治疗研究中心国家级顾问;同年,获得国家预防网络授予的服务金奖;2008年获得了美国安永企业家东部地区年度奖;2010年被匹兹堡地区商业周刊评为行业标兵。现任一家软件公司董事长兼资深科学顾问。数据分析师培训
end
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10