SPSS数据准备:标识异常个案
一、标识异常个案(数据-标识异常个案)
“异常检测”过程查找基于聚类组标准值偏差的异常个案。该过程设计为在探索性数据分析步骤中,快速检测到用于数据审核的异常个案,并优先于任何推论性数据分析。此算法设计为一般“异常检测”;即异常个案的定义不被指定为任何特定应用程序,例如对保健行业中异常付款模式的检测或对金融业中洗钱行为的检测,其中对异常的定义可以被很好地界定。
示例。雇用的构建中风治疗效果预测模型的数据分析人员对数据质量非常关注,因为这类模型对异常观察值十分敏感。某些偏离的观察值表示真正唯一的个案,因此不适合用于预测,而其他观察值是由数据输入错误导致的,其值从技术上说是“正确”的,因此不能被数据验证过程捕获。“标识异常个案”过程找出并报告这些离群值,以便分析人员能够确定如何处理这些值。
统计量。该过程生成对等组、连续和分类变量的对等组标准值、基于对等组标准值偏差的异常指标,以及对被视为异常的个案影响最大的变量影响值。
数据。此过程既处理连续变量也处理分类变量。每行表示一个不同观察值,每列表示一个对等组以其为基础的不同变量。个案标识变量可在用于标记输出的数据文件中获得,但不能用于分析中。允许缺失值。被指定的权重变量可以忽略。检测模型可用于新检验数据文件。检验数据元素必须与培训数据元素一致。并且,根据算法设置,用于创建模型的缺失值处理方法可适用于优先于评分的检验数据文件。
个案顺序。注意,解决方案可取决于个案顺序。要使顺序的影响降至最低程度,可随机排列个案的顺序。想要验证给定解的稳定性,您可能想要通过以不同随机顺序排序的案例来得到多个不同的解。在文件非常大的情况,可使用以不同随机顺序排序的个案样本运行多次。
假设。算法假设所有变量都为不恒定且独立的,并且没有个案具有含有任何输入变量的缺失值。假设每个连续变量具有正态(高斯)分布,假设每个分类变量具有多项分布。经验内部检验表明,该过程对于违反独立性假设和分布假设均相当稳健,但应了解这些假设符合的程度。
二、输出(数据-标识异常个案-输出)
1、对等组标准值。此选项显示连续变量标准值表(如果分析中使用了任何连续变量)以及分类变量标准值表(如果分析中使用了任何分类变量)。连续变量标准值表显示每个对等组的每个连续变量的均值和标准差。分类变量标准值表显示每个对等组的每个分类变量的众数(最大类别)、频率和频率百分比。连续变量的均值和分类变量的众数在分析中用作标准值。
2、异常指标。异常指标摘要显示标识为最不正常个案的异常指标的描述统计。
3、按分析变量列出出现的原因。对于每个原因,该表将每个变量的出现频率和频率百分比显示为原因。该表还报告每个变量的影响的描述统计。如果在“选项”选项卡上将最大的原因数量设置为0,则此选项不可用。
4、已处理的个案数。个案处理摘要显示活动数据集中所有个案的计数和计数百分比、分析中包含和排除的个案,以及每个对等组中的个案。
三、保存(数据-标识异常个案-保存)
1、异常指标。将每个个案的异常指标值保存到具有指定名称的变量中。
2、对等组。将对等组ID、个案计数以及每个个案的以百分比表示的大小保存到具有指定根名称的变量中。例如,如果指定了根名称Peer,则会生成变量Peerid、PeerSize和PeerPctSize。Peerid为个案的对等组ID,PeerSize为组的大小,而PeerPctSize为用百分比表示的组大小。
3、原因。使用指定的根名称保存原因变量集。原因变量集包含作为原因的变量的名称、变量影响度量、变量自身的值以及标准值。变量集的数量取决于在“选项”选项卡上请求的原因的数目。例如,如果指定根名称Reason,则会生成变量ReasonVar_k、ReasonMeasure_k、ReasonValue_k和ReasonNorm_k,其中k是第k个原因。如果原因数量设置为0,则此选项不可用。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-06在现代企业中,数据分析师扮演着至关重要的角色。每天都有大量数据涌入,从社交媒体到交易平台,数据以空前的速度和规模生成。面 ...
2025-01-06在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31提到数据分析,你脑海里可能会浮现出一群“数字控”抱着电脑,在海量数据里疯狂敲代码的画面。但事实是,数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业,近年来的讨论层出不穷。在这个快速变化的时代,技术进步让人既兴奋又不安。今天,我们从 ...
2024-12-30