数据挖掘语言及其标准化研究进展
数据挖掘包含范围广泛的任务,从数据描述到挖掘关联规则、数据分类和演化分析,所以,设计一个全面的数据挖掘语言是富有挑战性的,因为每个任务有不同的要求。一个设计有效的数据挖掘查询语言需要具有对不同种类数据挖掘任务的能力、限制和根本机制的深入理解。定义一个数据挖掘查询形式的数据挖掘任务的过程如下:选择要挖掘的与任务相关的数据和要挖掘的知识类型、在挖掘过程中需要的背景知识、对模式评估的衡量标准和阈值、可视化发现模式的预期表现、数据增长的动态性;以及特殊的挖掘任务比如有针对性的项目集挖掘,流数据挖掘,分布式和分区数据挖掘。
1 数据挖掘语言
数据挖掘语言根据功能和不同的侧重点可以分为3种:数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。
1.1 数据挖掘查询语言
每个用户的数据挖掘任务都不尽相同,一个数据挖掘任务可以用一个数据挖掘查询指定,查询作为数据挖掘系统的输入,数据挖掘查询用以下原语形式定义。
(1)任务相关数据。
(2)要挖掘的知识种类。
(3)背景知识。
(4)兴趣度的度量。
(5)获取模式的可视化表示。
(6)数据维护。
(7)特殊类型的挖掘。
1.2 数据挖掘建模语言
数据挖掘建模语言是对数据挖掘进行定义和描述的语言,为了使不同系统之间共享模型而不是以往的孤立形式,需要开发出一种标准的建模语言,使数据挖掘系统在模型定义和描述方面都遵循它,同样,为了解决无法发现孤立知识的问题,也可以在其他应用系统中嵌入数据挖掘模型,目前主流的数据挖掘建模语言包括PMML(Predictive Model Markup Language)与CWM(Common Warehouse Metamodel)两种。
1.2.1 PMML
PMML是一种基于XML的定义预言模型的语言,允许应用程序和OLAP工具可以不用独立开发数据挖掘模块,直接从数据挖掘系统中获得模型:此外,PMML还可以收集使用大量的潜在模型,并统一管理各种模型集合。
PMML对那些需要分布式学习、全部学习和部分学习的应用程序特别有效,因为它提供了一个灵活的机制来定义预言模型的模式,并同时支持涉及多个预言模型的模型选择和模型平衡,此外,在它的支持下,不同应用程序和系统之间可以很便捷地移动预言模型。
使用PMML进行模型定义包括以下几部分:(1)头文件;(2)数据模式;(3)数据挖掘模式;(4)预言模型模式;(5)预言模型定义;(6)全体模型定义;(7)选择和联合模型及全体模型的规则;(8)异常处理的规则。
其中预言模型定义是必备的,此外必须定义预言模型的模式。PMML标准版提供了一个文档类型定义集合(DTD)来详细说明决策树和多项式回归模型的实体与属性。使用标准的XML解析器对PMML进行解析,应用程序可以决定模型的详细格式、输入输出的数据类型、并且使用标准的数据挖掘术语解释模型结果。并且,使用PMML可以使挖掘模型与应用平台和操作系统无关,无需关心模型的创建过程。
1.2.2 CWM(Common Warehouse Metamodel)
公共仓库元模型CWM由OMG(Object Management Group,对象管理组织)制定,其主要目的是在异构环境下辅助不同平台、不同的数据仓库工具和元数据知识库进行元数据交换,CWM模型包括元数据(技术类与商业类)存储与元数据交换。
CWM标准定义了数据仓库和商业智能工具之间共享元数据的语法规范,包括4个方面:描述数据仓库系统的CWM元模型,CWM元模型的XML表示,数据仓库和商业智能工具共享元数据的DTD交换格式,以及数据仓库和商业智能工具共享元数据的API(应用程序接口)。
CWM元模型规范由以下5个包组成,分别定义了各领域的元模型:
(1)对象模型包,是构造和描述其他包中元模型类的基础,是UML的子集。
(2)基础包,包括表示CWM概念和结构的各种模型元素,可被其他CWM包共享。
(3)资源包,用于描述数据资源,包括关系数据资源、XML数据资源、记录式数据资源以及多维数据资源。
(4)分析包,包括数据转换、OLAP、数据挖掘、信息可视化和商业术语五个子包。
(5)管理包,用于描述数据仓库管理,包含两个子包:数据仓库过程、数据仓库操作。
1.3 通用数据挖掘语言
数据挖掘建模语言一定程度上解决了目前数据挖掘系统的一些问题,但是也有缺点,比如没有将模型与数据真正地分离、需要进行大量的数据转换才能建模、没有被所有的数据挖掘软件商采用等等。因此,有必要开发出一种更为通用的数据挖掘语言。通用数据挖掘语言合并了上述两者的特点,它可以定义模型,也可以作为查询语言与数据挖掘系统进行通信,进行特殊的交互式的挖掘。
微软推出的一款数据挖掘语言,命名为OLE DB for DM,是OLE DB的一个扩展,制定这一规范的目的是使来自不同数据挖掘软件商的数据挖掘算法轻松地嵌入到用户应用程序中。
OLE DB for DM定义了一些重要的新概念和特点,以填补传统的数据挖掘技术和目前关系数据库管理系统之间的空白,包括以下几点:
(1)数据挖掘模型DMM(Data Mining Model),DMM类似于一个关系表,但是包含一些特殊列,由数据挖掘中的数据训练和预言制定使用,DMM既可以用来创建预言模型,又可以产生预言,DMM存储被数据挖掘算法发现的模式,这点与标准的关系表中存储原始数据不同,其所有结构与内容都可以用XML字符串表示。
(2)预言联接操作(Predication Join Operation),与SQL语法中的联接操作类似,通过映射一个在训练好的数据挖掘模型和设计的输人数据源之间联接查询,使开发人员较容易地得到确切符合商业需求的自定义预言结果。
(3)OLE DB for DM模式行集合(Schema Rowsets),这些特殊目的的模式行集合允许使用者发现诸如可用的挖掘服务、挖掘模型、挖掘列模型等临界信息内容,数据挖掘提供者在模型创建和训练阶段装入模式行集合。
2 分析与评价
数据挖掘查询语言与数据挖掘系统进行通信,提供独立于应用的操作原语,进行交互和特殊的挖掘,但是,由于各查询语言目前没有形成统一标准,因此并没有实质性解决数据挖掘系统之间相互孤立的问题。
PMML提供了一个简单开放的框架以处理和交换预言模型,使用户可以更迅速地使用挖掘出的信息,更容易实现商业智能。PMML使用户可以将模型与应用程序分离,即在一个应用程序中开发模型,而在其他应用程序中进行模型的可视化、分析、估值等操作、或以其他方式使用模型,从而使在不同模型之间无缝交换模型成为可能,解决了上文提到的系统彼此孤立的问题。但PMML还不能算是一种完整的数据挖掘模型定义语言,而只是预言模型标记语言,因为它不包括预言模型和描述模型。
3 结语
介绍了数据挖掘语言及其标准化方面的研究进展,对目前较为流行的几种数据挖掘语言的特点进行了分析比较,可以看出,数据挖掘语言发展的必然趋势是标准化方向,但也需要一定的理论基础支持,比如基于高阶逻辑和Rough Set理论的数据挖掘问题的分类描述理论,正如SQL语言的创立是因为有关系代数理论的支持一样。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28