置信区间、显著性检验和统计学意义
置信区间
估计参数真值所在的范围通常以区间的形式给出,同时还给出此区间包含参数真值的可信程度,这种形式的估计称为区间估计,这样的区间称为置信区间。
对于任意参数θ在可能的取值范围内,P{θ1<θ<θ2}≥1-α,则称随机区间(θ1,θ2)是参数θ的置信水平为1-α的置信区间,θ1和θ2分别称为置信水平为1-α的双侧置信区间的置信下限和置信上限,1-α称为置信水平。
对于特殊问题,我们关心的是重点在于参数θ的上限或下限,比如对于设备的使用寿命,关心平均寿命的“下限”;对于药品中杂质含量,关心平均含量的“上限”。对于任意参数θ在可能的取值范围内,P{θ<θ2}≥1-α或P{θ>θ1}≥1-α,则称随机区间(-∞,θ2)或(θ1,∞)是参数θ的置信水平为1-α的单侧置信区间,θ1和θ2分别称为置信水平为1-α的单侧置信下限和单侧置信上限。
显著性检验
统计推断(statistical inference),是根据带随机性的观测数据(样本)以及问题的条件和假定(模型),而对未知事物,作出的以概率形式表述的推断。主要包括参数估计和假设检验。
参数估计包括点估计和区间估计。点估计包括矩估计法和最大似然估计法。
假设检验:在总体的分布函数完全未知或只知其形式、但不知其参数的情况,为了推断总体的某些未知特性,提出某些关于总体的假设。再根据样本,对所提出的假设作出是接受,还是拒绝的决策。假设检验是作出这一决策的过程。
对两者有无显著性差异的判断是在显著性水平α之下作出的。显著性水平α为满足原假设时,发生不可能事件的概率的上限。如果样本发生的概率小于显著性水平α,证明小概率事件(不可能事件)发生了,样本与假设的差异是显著的,故拒绝原假设;否则,接受原假设。显著性水平α即为拒绝原假设的标准。P值和sig值表示在原假设的条件下,样本发生的概率,也是拒绝原假设的依据。
由于检验法则是根据样本作出的,总有可能作出错误的决策。在原假设为真时,可能犯拒绝原假设的错误,称这类“弃真”的错误为第一类错误;在原假设为不真时,有可能接受原假设,称这类“取伪”的错误为第二类错误。
一般来说,我们总是控制第一类错误的概率,使它不大于显著性水平α。α的大小视具体情况而定,通常取0.1,0.05,0.01,0.005 等值。只对第一类错误的概率加以控制,而不考虑第二类错误的概率的检验,称为显著性检验。区分双边假设检验和单边假设检验。
无论是显著性相关,还是显著性差异,显著性表示的意义为出现该情况的概率大于1-α。
Z检验:单个总体,方差已知,关于均值的检验。
T检验:单个总体,方差未知,关于均值的检验;两个总体,方差相同,关于均值差的检验;两个总体,方差未知,配对出现,关于均值差的检验(配对t检验:配对求差值,构成单个总体)。
卡方检验:单个总体,均值未知,关于方差的检验。
F检验:两个总体,均值未知,关于方差的检验。
T检验、F检验和统计学意义(P值或sig值)
1. T检验和F检验的由来
一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错的概率,我们会利用统计学家所开发的一些统计方法,进行统计检定。
通过把所得到的统计检定值,与统计学家建立了一些随机变量的概率分布(probability distribution)进行比较,我们可以知道在多少%的机会下会得到目前的结果。倘若经比较后发现,出现这结果的机率很少,亦即是说,是在机会很少、很罕有的情况下才出现;那我们便可以有信心的说,这不是巧合,是具有统计学上的意义的(用统计学的话讲,就是能够拒绝虚无假设null hypothesis,Ho)。相反,若比较后发现,出现的机率很高,并不罕见;那我们便不能很有信心的直指这不是巧合,也许是巧合,也许不是,但我们没能确定。
F值和t值就是这些统计检定值,与它们相对应的概率分布,就是F分布和t分布。统计显著性(sig)就是出现目前样本这结果的机率。
2. 统计学意义(P值或sig值)
19楼空间eo-{y"k8w%p~;u结果的统计学意义是结果真实程度(能够代表总体)的一种估计方法。专业上,p值为结果可信程度的一个递减指标,p值越大,我们越不能认为样本中变量的关联是总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联,我们重复类似实验,会发现约20个实验中有一个实验,我们所研究的变量关联将等于或强于我们的实验结果。(这并不是说如果变量间存在关联,我们可得到5%或95%次数的相同结果,当总体中的变量存在关联,重复研究和发现关联的可能性与设计的统计学效力有关。)在许多研究领域,0.05的p值通常被认为是可接受错误的边界水平。
通常,原假设为无差别,若P值小于边界水平(比如0.05),小概率事件发生了,推翻原假设,认为差别是显著的。
所有的检验统计都是正态分布的吗
并不完全如此,但大多数检验都直接或间接与之有关,可以从正态分布中推导出来,如t检验、f检验或卡方检验。这些检验一般都要求:所分析变量在总体中呈正态分布,即满足所谓的正态假设。许多观察变量的确是呈正态分布的,这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了,(参阅非参数和方差分析的正态性检验)。这种条件下有两种方法:一是用替代的非参数检验(即无分布性检验),但这种方法不方便,因为从它所提供的结论形式看,这种方法统计效率低下、不灵活。另一种方法是:当确定样本量足够大的情况下,通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的,该原则对正态方程基础上的总体检验有极其重要的作用。即,随着样本量的增加,样本分布形状趋于正态,即使所研究的变量分布并不呈正态。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13