用R处理大数据集_数据分析师
用R处理大数据集
JAN 1ST, 2012
| COMMENTS
本文翻译自R in Action
的附录G,如果对该书感兴趣,请自行购买或去图书馆阅读。
R会把所有的对象读存入虚拟内存中。对我们大多数用户来说,这种设计可以提高与R相互的速度,但是当分析大数据集时,这种设计会降低程序运行速度有时还会产生跟内存相关的错误。
内存限制主要取决于R的build版(32位还是64位),而在32位的windows下,取决于操作系统的版本。以cannot allocate vectoe of size开头的出错信息表示无法分配充足的连续内存,而以cannot allocate vector of length开头的出错信息表示超越了地址限制(address limit)。在处理大数据集时,应尽量使用64位版的R。对于各种build版,向量中的元素个数最大为2147483647(请自行?Memory)。
在处理大数据集时有三方面应该考虑:(a)提高程序的效率,保证执行速度;(b)把数据储存在外部,以解决内存限制问题;(c)使用专门的统计方法来有效处理大数据量的问题。
下面将分别讨论。
下面几条编程技巧来可以提高处理大数据集时的效率
函数族把外部数据导入数据框时,尽量显式设定colClasses和nrows选项,设定comment.char = "",把不需要的列设置成NULL。这样可以减少占用的内存,同时加快处理速度。将外部数据导入矩阵时,使用scan()函数;
可以删除内存中的所有对象。删除指定的对象可以用rm(object);
,被墙)中提到,使用函数.ls.objects()列出工作区内的对象占用的内存大小。这个函数会帮助你找到吃内存的大家伙。
和summaryRprof()函数完成这项工作。system.time()函数也可以帮助你。profr 和 prooftools 包提供了若干函数来帮助分析profile的输出。
处理大数据集,提高代码效率只能解决一部分问题。你也可以把数据存在外部存储并使用专门的统计分析方法。
有几种包可以实现在内存之外存储数据。解决之道是把数据保存在外部数据库或者硬盘里的二进制文件中,然后在需要的时候部分地读取。下表描述了几种有用的包:
包
描述
ff
提供了一种数据结构,保存在硬盘中,但是操作起来就如同在内存中一样
bigmemory
支持大规模矩阵的创建、储存、读取和操作。矩阵被分配到共享内存或内存映射的文件中(memory-mapped files)
filehash
实现了简单的key-value数据库,在其中特征字符串key与存储在硬盘中的数据value相关联。
ncdf, ncdf4
Provides an interface to Unidata netCDF data files.
RODBC, RMySQL,ROracle, RPostgreSQL,RSQLite
可以用这些包读取外部关系数据库管理系统的数据
上面的包可以帮助克服R的内存限制。除此以外,当需要在有限时间内分析大数据集时,使用专门方法也是必须的。一些有用的方法将在下面介绍。
R提供了几种分析大数据集的包:
和 speedglm 包可以针对大数据集有效地拟合线性和广义线性模型。在处理大规模数据集时,这两个包提供了类似lm()和glm()的功能。
包可产生大规模矩阵,一些包可以提供分析这些大规模矩阵的函数。bigannalytics 包提供了k-means聚类、行统计量(column statistics)和一个对biglm()的封装。bigtabulate 包提供了table()、split()和tapply()的功能,bigalgebra 包提供了高等线性代数的函数。
包提供了最小角回归(least-angle regression)、lasso以及针对大数据集的逐步回归,数据集因太大而不能读入到内存中,这时候要配合 ff 包使用。
包可以用来处理大数字(大于2^1024)
处理从GB到TB级的数据对于任何数据都是极大的挑战。
数据分析咨询请扫描二维码
人工智能(AI)正迅速成为现代科技的核心,推动着各行各业的革新与发展。大学人工智能专业的学习内容非常广泛,涵盖了计算机科学 ...
2024-09-20数据分析师考证:CDA认证的全面指南 数据分析在现代商业和科技领域中的重要性日益增加,越来越多的企业依赖数据驱动决策来提升竞 ...
2024-09-20网络爬虫(Web Crawler),也被称为网络蜘蛛、网络机器人或网页抓取器,是一种自动化程序或脚本,用于在互联网上自动抓取和收集 ...
2024-09-20数据分析是现代商业和科学研究中不可或缺的一部分。Python凭借其强大的库和易用性,成为数据分析领域的首选编程语言。本文将深入 ...
2024-09-20数据分析师是一个需要多方面技能和特质的职业,适合做数据分析师的人通常具备以下特质和技能: 对数据有浓厚兴趣:数据爱好者, ...
2024-09-20CDA证书的考试内容涵盖了多个模块,具体包括: 数据分析概述与职业操守:包括数据分析的基本概念、方法论、角色,数据分析师的 ...
2024-09-20数字化转型的核心在于利用数字技术来推动企业或组织在业务模式、流程、文化和价值链等方面的根本性变革,以提高效率、创造新的增 ...
2024-09-20作为一名资深数据分析师,拥有CDA证书可以显著提升你的职业竞争力,并为你带来更多的职业发展机会。CDA证书在金融、电信、零售、 ...
2024-09-20数据分析师的月薪因地区、经验、技能和行业而异。根据2024年的数据,数据分析师在中国的平均月薪约为11,910元,但这个数字可能因 ...
2024-09-20CDA证书在统计学领域的应用非常广泛,特别是在数据分析和业务决策中。以下是CDA Level II级别中一些与统计学相关的应用: 数据 ...
2024-09-20统计学结合CDA证书可以为就业提供多样化的方向和广阔的前景。以下是一些主要的就业方向: 政府部门:统计学专业毕业生可以在政 ...
2024-09-20CDA认证分为三个级别,每个级别对应不同的数据分析技能: CDA Level I:这是入门级别,主要面向零基础就业转行者、应届毕业生以 ...
2024-09-20在职场中,将CDA(Certified Data Analyst)证书转化为实际的业务成果和价值,可以通过以下几个步骤实现: 提升专业技能:CDA证 ...
2024-09-20考取CDA(Certified Data Analyst)证书后,可以通过以下几个策略在职场中提升薪资: 深化专业技能:持续学习和实践,提高数据 ...
2024-09-20数字经济专业是一门综合性、交叉性的学科,旨在培养具备扎实经济学基础和熟练数字技能的数据分析与决策人才。该专业的课程内容丰 ...
2024-09-19数据分析师这个职位本身并不特定于性别,男性和女性都可以从事这项工作。至于是否会觉得累,这取决于多种因素,包括个人的工作经 ...
2024-09-19CDA认证考试的通过率会根据不同年份和考试难度有所变化。根据CDA数据科学研究院发布的数据,第十一届CDA认证考试的通过率如下: ...
2024-09-19大数据技术毕业生在职场中脱颖而出需要从多个方面进行努力和规划。首先,明确职业目标是关键一步。了解大数据相关的职业岗位,如 ...
2024-09-19在数据分析领域,有几个专业认证是值得考虑的,它们可以帮助提升你的专业技能,并在就业市场上增加竞争力。以下是一些推荐的认证 ...
2024-09-19金融数学专业是一门结合了数学、统计学和经济学的交叉学科,旨在培养具备扎实的数学基础和金融理论知识的复合型人才。随着全球 ...
2024-09-19