小白学数据分析--Clementine的源节点学习
Clementine是一个很有用的工具,在网游日常数据的处理中,其应用程度不低于Excel和SPSS,尽管Clementine是一个数据挖掘工具,但是在数据处理等方面的功能很强大,在几十万到几百万甚至几千万数据处理上,都能够应付,而Excel仅仅处理在一百万左右的数据。使用Clementine有一段时间了,就从基本的开始说起吧,先说说源节点是什么?
每一个数据处理工具,都需要支持很多种数据格式,由于我们数据存储形式,或者存储软件的因素造成了我们有时候数据的格式会有很多种,为此作为一个好的数据分析软件,首要的就是要支持很多的数据格式,这样避免的大数据转换格式耗费的时间和成本。
在Clementine中就有源节点来完成这个工作,源节点顾名思义,就是数据来源的节点。对应在Clementine中有一个源选项版来完成这个工作,如下所示:
企业视图有关信息这里不解释,目前暂无应用。
数据库源节点
Cle中使用ODBC将数据导入,支持Oracle、SQLServer、DB2、MySQL等。但是这种方式导入数据,就必须首先配置ODBC数据源,有关如何配置该数据源,这里不再累述。可以自行参考网上的很多教程。Cle对于数据库的支持有三层:
1) 所有可能的 SQL 回送都可用,并具有数据库特定的 SQL 优化
2) 多数 SQL 回送可用,具有非数据库特定的 SQL 优化
3) 没有 SQL 回送或优化,只能向数据库读取和写入数据
使用下列一般步骤访问数据库中的数据:
为要使用的数据库安装 ODBC 驱动程序并配置数据源;
在数据库节点对话框中,使用表模式或 SQL 查询模式连接到数据库;
从数据库中选择表;
使用数据库节点对话框中的选项卡,可以更改使用类型和过滤数据字段;
现在我们已经完成了ODBC安装和配置数据源的工作。下面我们要在Cle中连接数据库,进行查询访问,双击数据库图标,进入数据流工作区域,右键单击编辑,弹出如下的对话框:
上图为数据选项卡的选项,用于获取数据库访问和选定我们要进行操作的表。
模式
可以通过对话框连接到指定的表上,也可以通过SQL查询查询使用的数据库。
数据源
此处指定我们需要的数据源,可以手动填写,也可以通过下拉菜单进行添加,此处我们铜鼓下拉菜单添加,如下图:
在弹出的对话框中,我们选择test数据源。
数据源
列出目前我们可用的数据源,如果是刚刚添加的,单击刷新,选择数据源,输入用户名和密码就OK了。
表名
通过选择按钮选择我们进行操作的表,如下图所示:
给表名和列名加上引号
在数据库中进行查询时,指定是否要将表名和列名括入引号内(例如,这些名称是否可包含空格或标点)
去除开头和结尾的空格
选中选项以丢弃字符串中开头和结尾的空格。
可变文件节点
相当于Excel分列操作使用分隔符的模式
可以使用可变文件节点从自由字段文本文件(其记录包含的字段数不变,但包含的字符数可改变)中读取数据,该文件又称为分隔文本文件。此类型的节点也可用于具有固定长度的页眉文本和特定类型的注解的文件。每次读取一条记录,并将这些记录传递到流中,直到读完整个文件。
读取定界文本数据时的注意事项
必须在每行末尾处用换行符分隔记录;
必须使用逗号或其他字符(最好是仅用作分隔符,即该字符不能出现在字段名称或字段值中)分隔字段;
每一行(包括标题行)都应包含相同的字段数;
第一行应包含字段名称;
第二行必须包含数据的第一条记录;
数字值不能包括千位分隔符或分组符号,—例如,3,000.00 中不能使用逗号;
日期值和时间值应该采用“流选项”对话框中可识别的的格式之一,例如DD/MM/YYYY 或HH:MM:SS。
我们导入一个文件,单击可变文件,右键编辑,弹出如下的对话框:
读取文件中的字段名
默认是选中的,此时把文件的第一行看作是列表前,即变量名。每个字段也能被分配一个名字,当然了,如果我们第一行没有列标签时,就可以取消选中。
指定字段数
指定每个记录中的字段数。只要记录以新行结束,就可以自动检测字段数。也可以手动设置字段数。
跳过标题字符
指定要忽略第一个记录的开头处的多少个字符。
EOL 注解字符
指定字符(例如 # 或 !)以表示数据中的注解。无论这些字符之一出现在数据文件的何处,从该字符起直到下一个新行字符(不包括)之前的所有字符都将被忽略。
去除开头和结尾
丢弃导入字符串中开头和结尾的空格。
无效字符
空字符或者指定编码中不存在的的字符,通过丢弃进而删除了,或者替换成其他字符。
小数符号
选择在数据源中使用的小数分隔符类型。
定界符
选择将将数据进行分列的符号,也可以自己指定符号,此处是复选,也就是说可以使一个以上的分列手段,这点和Excel的分列大同小异。
类型的扫描行数
对于指定的数据类型要扫描的行数
引号
如何处理导入数据的单引号和双引号问题
在此对话框中操作任何时刻,都可单击刷新以从数据源重新载入字段。在更改到源节点的数据连接时,或在对话框的选项卡之间进行操作时,此操作都非常有用。
固定文件
相当于Excel分列操作的固定长度模式
所谓固定文件是相对可变文件而言,使用固定文件节点从固定字段文本文件(其字段没有被分隔,但开始位置相同且长度固定)中导入数据。机器生成的数据或遗存数据通常以固定字段格式存储。使用固定文件节点的“文件”选项卡,可以轻松地指定数据中列的位置和长度。
选择固定文件,右键单击编辑,选择一个文件,如下所示:
数据预览窗格可用来指定列的位置和长度。预览窗口顶部的标尺有助于测量变量的长度并指定变量间的断点。通过单击字段上方的标尺区域可以指定断点线。通过拖动可移动断点,而将其拖动到数据预览区域之外则可丢弃断点。
面向行
如果要跳过每个记录末尾的新行字符,可选中此选项。
跳过标题行
指定要忽略第一个记录的开头处的行数。这对忽略列标题非常有用。
记录长度
指定每个记录中的字符数。
字段
已为此数据文件定义的所有字段都在此处列出。有以下两种定义字段的方式:
移动标尺,进行控制指定字段;
通过向下面的表添加空字段行手动指定字段。单击字段窗格右侧的按钮添加新字段。然后在空字段中输入字段名、开始位置和长度。这些选项会自动在数据预览窗格中添加箭头,并且可以轻松地调整这些箭头。
SAS源节点&SPSS源节点
SPSS文件导入对话框
SAS文件导入对话框
SAS导入支持四种文件格式,如上图所示。导入数据时,所有变量都将保留且不更改任何变量类型。
SPSS和SAS中需要说明的内容:
读取名称和标签
选中此选项将变量名称和标签同时读入。默认情况下将选中此选项,并且变量名称将显示在类型节点中。根据流属性对话框中指定的选项,标签将显示在表达式构建器、图表、模型浏览器和其他类型的输出中。
读取用作名称的标签
选择从文件中读取说明性的变量标签而不是短字段名,并将这些标签作为变量名称在 Cle中使用。
Excel源节点
Excel的数据导入相对来说不是很麻烦,作为我们经常使用的工具,有必要介绍一下,下图为导入数据的对话框:
工作表
索引或者名称指定要导入的工作表。
索引
指定要导入的工作表的索引值,开头的 0 表示第一个工作表,1 表示第二个工作表,依此类推。
名称
指定要导入的工作表的名称。单击省略按钮 (... ) 从可用工作表列表中进行选择。
工作表上的范围
可以第一个非空行作为开始导入数据,也可通过指定单元格的显式范围导入数据。
总结
以上为Cle数据导入的大部分内容,作为数据处理的关键一步和第一步,意义还是很大的,也是作为数据处理的最基本知识。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12