使用R原生函数来做文本挖掘-CDA数据分析师官网

使用R原生函数来做文本挖掘

2017-02-25

使用R原生函数来做文本挖掘

最近有几位同学问到我如何利用tm包做文本挖掘，比较抱歉的是时间不太充足，不能完整更新文档。在这里只好给大家一些tips，来利用R的原生函数来完成文本挖掘的核心步骤。

setwd('C:/Users/Administrator/Downloads')
options(width = 150)
library(data.table)
x <- fread('comment.txt', sep = '\t', header = FALSE)
x$V3 <- iconv(x$V3, 'UTF-8', 'GBK') # 第三类为文本内容，字符集转化
x <- x[which(nchar(x$V3) > 3),]
n <- 10000 # 设置抽样数量，保证计算时长
x <- x[sample(1:nrow(x),n),]

library(jiebaR)
library(Matrix)

JR = worker(user = 'D:/source/RecModels/prototype/TagGen/userdict.txt')
seg_raw <- sapply(x$V3, segment, JR) # 执行分词

id <- unique(unlist(seg_raw)) # 生成Term
id <- id[nchar(id) >=2 & nchar(id) <= 5] # 将Term太长和太短的去掉，比如“强”
col_id <- as.vector(unlist(sapply(seg_raw, match, id)))
NA_index <- !is.na(col_id)
col_id <- col_id[NA_index] # 去除列的空值位置号
row_num <- sapply(seg_raw, length)
row_id <- rep(1:length(seg_raw), times = row_num)
row_id <- row_id[NA_index] # 去除行的空值位置号
## 生成DTMatirx
m <- sparseMatrix(i = row_id, j = col_id)

核心思想是创造Term和原始文档分词之后对应的索引，来创造Document Term Matrix。当然中间涉及各种Term的预处理，这时候使用标准函数即可操作。数据分析师培训

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

文本挖掘数据分析

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！

下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！

使用R原生函数来做文本挖掘

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析常用工具和方法

数据挖掘在客户行为分析中的作用

如何进行数据挖掘分析

企业提高运营效率的技巧

Python 适合初学者学习吗

金融数字化在中小企业中的应用

中小企业数字化转型策略

如何选择合适的数据分析方法

数据分析师的核心能力有哪些

数据挖掘与分析的基本步骤解析

如何提升商务数据分析师的工作效率 ...

数据挖掘在商业中的重要性

数据分析可视化的应用场景

如何使用Python进行数据分析

数据分析师需要掌握的工具

业务分析师需要掌握的技能

CDA中科院城市环境研究所（厦门）内训圆满成功 ...

常见的数据分析方法及其应用

数据分析的基本步骤是什么

如何成为一名优秀的业务分析师