数据挖掘语言及其标准化研究进展
数据挖掘包含范围广泛的任务,从数据描述到挖掘关联规则、数据分类和演化分析,所以,设计一个全面的数据挖掘语言是富有挑战性的,因为每个任务有不同的要求。一个设计有效的数据挖掘查询语言需要具有对不同种类数据挖掘任务的能力、限制和根本机制的深入理解。定义一个数据挖掘查询形式的数据挖掘任务的过程如下:选择要挖掘的与任务相关的数据和要挖掘的知识类型、在挖掘过程中需要的背景知识、对模式评估的衡量标准和阈值、可视化发现模式的预期表现、数据增长的动态性;以及特殊的挖掘任务比如有针对性的项目集挖掘,流数据挖掘,分布式和分区数据挖掘。
1 数据挖掘语言
数据挖掘语言根据功能和不同的侧重点可以分为3种:数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。
1.1 数据挖掘查询语言
每个用户的数据挖掘任务都不尽相同,一个数据挖掘任务可以用一个数据挖掘查询指定,查询作为数据挖掘系统的输入,数据挖掘查询用以下原语形式定义。
(1)任务相关数据。
(2)要挖掘的知识种类。
(3)背景知识。
(4)兴趣度的度量。
(5)获取模式的可视化表示。
(6)数据维护。
(7)特殊类型的挖掘。
1.2 数据挖掘建模语言
数据挖掘建模语言是对数据挖掘进行定义和描述的语言,为了使不同系统之间共享模型而不是以往的孤立形式,需要开发出一种标准的建模语言,使数据挖掘系统在模型定义和描述方面都遵循它,同样,为了解决无法发现孤立知识的问题,也可以在其他应用系统中嵌入数据挖掘模型,目前主流的数据挖掘建模语言包括PMML(Predictive Model Markup Language)与CWM(Common Warehouse Metamodel)两种。
1.2.1 PMML
PMML是一种基于XML的定义预言模型的语言,允许应用程序和OLAP工具可以不用独立开发数据挖掘模块,直接从数据挖掘系统中获得模型:此外,PMML还可以收集使用大量的潜在模型,并统一管理各种模型集合。
PMML对那些需要分布式学习、全部学习和部分学习的应用程序特别有效,因为它提供了一个灵活的机制来定义预言模型的模式,并同时支持涉及多个预言模型的模型选择和模型平衡,此外,在它的支持下,不同应用程序和系统之间可以很便捷地移动预言模型。
使用PMML进行模型定义包括以下几部分:(1)头文件;(2)数据模式;(3)数据挖掘模式;(4)预言模型模式;(5)预言模型定义;(6)全体模型定义;(7)选择和联合模型及全体模型的规则;(8)异常处理的规则。
其中预言模型定义是必备的,此外必须定义预言模型的模式。PMML标准版提供了一个文档类型定义集合(DTD)来详细说明决策树和多项式回归模型的实体与属性。使用标准的XML解析器对PMML进行解析,应用程序可以决定模型的详细格式、输入输出的数据类型、并且使用标准的数据挖掘术语解释模型结果。并且,使用PMML可以使挖掘模型与应用平台和操作系统无关,无需关心模型的创建过程。
1.2.2 CWM(Common Warehouse Metamodel)
公共仓库元模型CWM由OMG(Object Management Group,对象管理组织)制定,其主要目的是在异构环境下辅助不同平台、不同的数据仓库工具和元数据知识库进行元数据交换,CWM模型包括元数据(技术类与商业类)存储与元数据交换。
CWM标准定义了数据仓库和商业智能工具之间共享元数据的语法规范,包括4个方面:描述数据仓库系统的CWM元模型,CWM元模型的XML表示,数据仓库和商业智能工具共享元数据的DTD交换格式,以及数据仓库和商业智能工具共享元数据的API(应用程序接口)。
CWM元模型规范由以下5个包组成,分别定义了各领域的元模型:
(1)对象模型包,是构造和描述其他包中元模型类的基础,是UML的子集。
(2)基础包,包括表示CWM概念和结构的各种模型元素,可被其他CWM包共享。
(3)资源包,用于描述数据资源,包括关系数据资源、XML数据资源、记录式数据资源以及多维数据资源。
(4)分析包,包括数据转换、OLAP、数据挖掘、信息可视化和商业术语五个子包。
(5)管理包,用于描述数据仓库管理,包含两个子包:数据仓库过程、数据仓库操作。
1.3 通用数据挖掘语言
数据挖掘建模语言一定程度上解决了目前数据挖掘系统的一些问题,但是也有缺点,比如没有将模型与数据真正地分离、需要进行大量的数据转换才能建模、没有被所有的数据挖掘软件商采用等等。因此,有必要开发出一种更为通用的数据挖掘语言。通用数据挖掘语言合并了上述两者的特点,它可以定义模型,也可以作为查询语言与数据挖掘系统进行通信,进行特殊的交互式的挖掘。
微软推出的一款数据挖掘语言,命名为OLE DB for DM,是OLE DB的一个扩展,制定这一规范的目的是使来自不同数据挖掘软件商的数据挖掘算法轻松地嵌入到用户应用程序中。
OLE DB for DM定义了一些重要的新概念和特点,以填补传统的数据挖掘技术和目前关系数据库管理系统之间的空白,包括以下几点:
(1)数据挖掘模型DMM(Data Mining Model),DMM类似于一个关系表,但是包含一些特殊列,由数据挖掘中的数据训练和预言制定使用,DMM既可以用来创建预言模型,又可以产生预言,DMM存储被数据挖掘算法发现的模式,这点与标准的关系表中存储原始数据不同,其所有结构与内容都可以用XML字符串表示。
(2)预言联接操作(Predication Join Operation),与SQL语法中的联接操作类似,通过映射一个在训练好的数据挖掘模型和设计的输人数据源之间联接查询,使开发人员较容易地得到确切符合商业需求的自定义预言结果。
(3)OLE DB for DM模式行集合(Schema Rowsets),这些特殊目的的模式行集合允许使用者发现诸如可用的挖掘服务、挖掘模型、挖掘列模型等临界信息内容,数据挖掘提供者在模型创建和训练阶段装入模式行集合。
2 分析与评价
数据挖掘查询语言与数据挖掘系统进行通信,提供独立于应用的操作原语,进行交互和特殊的挖掘,但是,由于各查询语言目前没有形成统一标准,因此并没有实质性解决数据挖掘系统之间相互孤立的问题。
PMML提供了一个简单开放的框架以处理和交换预言模型,使用户可以更迅速地使用挖掘出的信息,更容易实现商业智能。PMML使用户可以将模型与应用程序分离,即在一个应用程序中开发模型,而在其他应用程序中进行模型的可视化、分析、估值等操作、或以其他方式使用模型,从而使在不同模型之间无缝交换模型成为可能,解决了上文提到的系统彼此孤立的问题。但PMML还不能算是一种完整的数据挖掘模型定义语言,而只是预言模型标记语言,因为它不包括预言模型和描述模型。
3 结语
介绍了数据挖掘语言及其标准化方面的研究进展,对目前较为流行的几种数据挖掘语言的特点进行了分析比较,可以看出,数据挖掘语言发展的必然趋势是标准化方向,但也需要一定的理论基础支持,比如基于高阶逻辑和Rough Set理论的数据挖掘问题的分类描述理论,正如SQL语言的创立是因为有关系代数理论的支持一样。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10