大数据发展新方向 数据质量是关键
根据维基百科的定义:数据质量指的是“数据对其在操作、决策支持和规划中扮演角色的适应程度”。下面是数据质量常见的五个方面:
(1)一致性:信息集合中每个信息都不包含语义错误或相互矛盾的数据。例如,信息(公司=“先导”,国码=“86”,区号=“10”,城市=“上海”)就不一致,因为10是北京区号而非上海区号。又如,若银行信用卡信息库显示某持卡人同时在北京和新疆使用同一信用卡消费,这时就出现了同一时刻两个地点信息不一致的情况。
(2)精确性:信息集合中每个信息都能准确表述现实世界中的实体。例如,某城市人口数量为4130465,在信息库中的记载为400万。此数据看似合理,却不精确,未能包含剩余的130465人。
(3)完整性:信息集合中包含足够的信息来实现回答问题、查询信息或进行知识发现等功能。这也同样是数据质量评定中的一个重要因素!例如,某医疗信息库中的信息遗失了某些患者的既往病史,从而存在不完整性。一旦该患者需要治疗,这些缺失的信息将会导致医生不正确的诊断甚至引发严重医疗事故。
(4)时效性:信息集合中每个信息都要与时俱进。例如,把某小区住户的地址看作是数据的话,其中某位住户所登记的家庭地址是2010年的,但在2011年他可能搬家了,此时他所登记的家庭地址信息就不正确了,即信息过时,而这些过时信息将会导致严重后果。
(5)实体同一性:信息集合中描述同一实体的不同表示形式共享同一标识。例如,为防止信用卡欺诈,银行需监测信用卡的使用者和持有者是否为同一人。又如,同一企业中维护着各自不同的信息库的部门在兼并和重组时,会使新的客户信息库中产生大量具有差异的重复客户信息,而导致客户信息的混乱。
大数据中的数据质量问题
大数据,顾名思义,其最本质的特点在于数据量“大”,除此之外,还包括了获取、管理以及处理时的复杂性。大数据具有明显的时代特征,使用者们习惯上将其总结为4个“V”:规模性(volume),高速性(velocity),多样性(variety)和价值稀疏性(value)。由于这些特征,大数据才有更大可能产生数据质量问题,即更有可能出现不一致、不精确、不完整、过时等问题或者描述同一实体的数据出现了冲突(简称为实体不同一)等错误,具体原因包括:
(1)大数据具有规模性大的特点:越大规模的数据就越有可能在获取、存储、传输和计算过程中产生更多错误。即使想要进行人工 错误检测与修复也会由于成本极其巨大以至难以有效实施。
(2)大数据具有高速性的特点:数据的大量更新会导致过时数据迅速产生,在这个过程中也更易于产生不一致数据,为人工错误检测与修复带来困难。例如,某一大型实验设备中包含了15亿个传感器,平均每秒收集超过4亿条实验数据,每一秒钟就会有这些数据迅速过时,传统方法想要实现新数据替换对应的旧数据,就显得有些力不从心。
(3)大数据具有多样性的特点:它的多样性指的是数据来源和形式上的多样,这就使得数据有更大的可能产生不一致和冲突。例如,在互联网上的不同网购网站中获取到的同一商品的一些信息就有很大可能存在冲突。
数据质量的影响
如果没有良好的数据质量,大数据将会对决策产生误导,甚至产生不可估量的结果。
根据估算,数据错误每年对美国工业界造成的经济损失约占GDP的6%。
在医疗方面:根据美国医疗委员会的统计,由于数据错误引起的医疗事故仅在美国每年就导致高达98000名患者丧生。
在电信产业:数据错误经常导致故障排除的延误、多余设备租用和服务费收取错误,损害了企业信誉甚至会因此失去很多用户。
在商业上:美国零售业每年仅因标价错误就损失25亿美元。2009年戴尔台湾网站,在8小时内,售价本应是4800元新台币的19吋显示器被按照错误标价以500元新台币订购140万台!
在金融企业中:因数据质量问题导致的信用卡欺诈失察在2008年即造成48亿美元的损失。2001年雷曼兄弟公司将£300万错输入为£3亿,导致金融时报指数瞬间暴跌120点,百家蓝筹股的300亿英镑市值化为乌有,损失£500万-£1000万。2005年瑞穗证券同样因为输入错误,在16分钟内损失了19亿元人民币。
大数据质量管理的研究成果
在国家973高科技基础研究计划的资助下,哈尔滨工业大学等单位合作围绕“数据质量”这一重要主题进行项目“海量信息可用性基础理论与关键技术研究”已经超过3年,在数据质量方面已经取得了以下一系列研究成果:
数据质量评估技术:从数据质量常见的五个方面分别提出了数据质量不同的自动评估技术,并研究了这五个方面的关系,从而可以根据应用的需求判定数据的质量是否达到要求。
数据自动修复技术:利用网络提供的海量数据及从其中获得的知识来对数据进行修复。通过分析定义错误修复的语义蕴含与表现形式、自动修复的充分必要条件和基于WEB的自动修复模型,提出了查询关键词生成模型及算法,通过遗传算法实现查询关键词的自适应性调整,提出了实体抽取模型,该方法采用图模型来描述实体集之间的关系,利用图匹配的相关技术进行信息抽取,并基于抽取出的信息进行数据的自动修复。
实体识别技术:实体识别用于找出描述现实世界同一实体的数据。如今的数据集合大多具有复杂结构并具有更新频繁特点。课题组通过研究此种数据实体识别的理论和算法,提出了一系列针对关系数据、XML数据和图数据的实体识别算法,并将提出的技术应用到了商品信息的实体识别中。借助所得到的结论将淘宝等购物网站进行改进。
弱可用信息上的知识发现技术:网络上很多,要么不完整,要么带有可能误导用户的信息的数据以及很多通过自动化方法从非结构化数 据中(比如文本和图片)提取出来的数据,都是是典型的弱可用数据。课题组针对网络上的弱可用信息提出了多种知识发现的方法,使得人们可以借助多种数据挖掘方法在这些弱可用数据上进行知识提取,并且将这些提取出来的知识在不同领域的不同应用场景中进行验证。
数据质量自动检测技术在社保中的应用:在社保数据中,由于数据源多种多样,信息成因具有阶段性和分布性特点,造成了大量的数据孤岛的存在,即来自不同信息网络的数据信息经常会出现无法共享的问题,比如公安系统、民政局系统可能就会有信息重复或信息不匹配的情况发生。课题组利用数据质量自动检测技术解决了这些问题,确保了社保经济数据工程的顺利开展。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12