Hadoop：伪分布模式环境变量的配置

2020-06-05

单节点集群模式（a Single Node Cluster）又称伪分布模式，只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。 1、环境变量配置 为了方便的执行Hadoop ...

R语言dplyr包学习笔记（详细版）

2020-05-07

R语言dplyr包主要用于数据清洗和整理，主要功能有：行选择、列选择、统计汇总、窗口函数、数据框交集等是非常高效、友好的数据处理包，学清楚了，基本上数据能随意玩弄，对的，随意玩弄，简直大大提高数据处理及分 ...

如何用python在工作中“偷懒”？

2020-01-09

作者 | A字头 来源 | 数据札记倌 有些朋友在工作中会有这样的困惑：明明我从早忙到晚，为什么得到的评价还不高？ 要知道，企业对一个员工的评价 ...

编程大神进阶之路：Python技巧小贴士

2019-11-18

作者 | Martin Heinz 来源 | 机器之心 介绍 Python 炫酷功能（例如，变量解包，偏函数，枚举可迭代对象等）的文章层出不穷。但是还有很多 Python 的编程小技巧鲜被提及。因此，本文会试着介 ...

细数Python三十年技术演变史——生于小众，崛起于AI

2019-07-26

导语：一切都始于1989年的那个圣诞节，Python的诞生并不算恰逢其时，它崛起充满了机遇巧合，也有其必然性。三十年间，Python技术不断更迭，生态逐渐完善，加上互联网、大数据、以及人工智能这一波波浪潮的推波助澜 ...

纽约蹭饭手册：怎样利用Python和自动化脚本在纽约省钱又省心？

2019-06-17

在家做饭不下馆子可以减少开支已经是公开的秘密。但作为一名美食天堂的国民，不下馆子几乎是不可能的。 到处都是火锅店、烧烤餐厅或美味披萨店，瞅一眼这些美食，就足以摧毁大家省钱的意志力。 如果 ...

大数据学习阶段都有哪些（五）

2019-02-25

在前面的文章中我们给大家介绍了很多的内容，包括大数据学习的七个阶段，除了这七个阶段之外，还有一个最重要的阶段，也就是第八个阶段。第八个阶段就是SPARK数据分析。“千里之行，最后一行”——我们在 ...

学术研究中的“加速器”--Python爬虫

2019-08-28

而网络爬虫是收集相关数据的利器,它可以抓取某个网站或者某个应用的内容，提取有用的价值以及各种数据。也可以模拟用户在浏览器或者App应用上的操作，实现自动化的程序。 “工欲善其事，必先利其器”，当您 ...

数据分析需要的工具介绍（四）

2018-12-26

我们在上一篇文章中给大家介绍了Python语言的部分有优点，Python的优点有很多，比如说简单易学、速度快、免费开源。由此可见这些优点是比较诱人的，但是Python的优点不只是这些，那么Python的语言都还有哪 ...

爬取了上万条租房数据，你还要不要北漂

2018-09-10

昨天还幻想海边别墅的年轻人，今天可能开始对房租绝望了。 8月初，有网友在“水木论坛”发帖控诉长租公寓加价抢房引起关注。据说，一名业主打算出租自己位于天通苑的三居室，预期租金7500元/月，结果被二方 ...

Python 爬取北京二手房数据，分析北漂族买得起房吗？ | 附完整源码

2018-08-22

Python 爬取北京二手房数据，分析北漂族买得起房吗？ | 附完整源码 房价高是北漂们一直关心的话题，本文就对北京的二手房数据进行了分析。 本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的 ...

手把手教你用Python分析豆瓣电影——以《我不是药神》《邪不压正》为例

2018-07-24

手把手教你用Python分析豆瓣电影——以《我不是药神》《邪不压正》为例 《我不是药神》是由文牧野执导，宁浩、徐峥共同监制的剧情片，徐峥、周一围、王传君、谭卓、章宇、杨新鸣等主演 。影片讲述了神油店老板 ...

python数据处理实战

2018-07-20

python数据处理实战 二、需求 对杂乱文本数据进行处理 部分数据截图如下，第一个字段是原字段，后面3个是清洗出的字段，从数据库中聚合字段观察，乍一看数据比较规律，类似（币种 金额 万元）这样，我想着 ...

大数据时代 无处不在的算法应用

2018-07-07

大数据时代 无处不在的算法应用 能不能讲讲算法在工作中的运用?你个人学习算法的过程是怎样的?我对算法还是有点怕。除此之外，你认为大学是应该多花时间学应用技术还是理论知识呢? 今天就来聊聊我自己学 ...

python抽取指定url页面的title方法

2018-06-28

python抽取指定url页面的title方法 今天简单使用了一下python的re模块和lxml模块，分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title，xpath在完成这样的小任务上效率非常好，在这里之 ...

用神经网络RNN模仿特朗普的语言风格！

2020-06-02

为了获得更多民众的支持，美国总统演讲/发推时使用的语言通常都很「接地气」，而现任总统唐纳德·特朗普则更以「口无遮拦」著称。由于「推特狂魔」已经为我们准备了大量训练数据，现在让我们尝试一下如何使用循环 ...

R语言学习之数据的清理和转化

2018-06-20

R语言学习之数据的清理和转化 处理字符串 grep grepl 和regexpr函数都能找到与模式相匹配的字符串 sub 和 gsub函数能替换匹配的字符串 加载strngr包，fixed里面为要匹配的字符串 返回匹配的字符串序列 [ ...

Python语言的12个基础知识点小结

2018-06-12

Python语言的12个基础知识点小结 python编程中常用的12种基础知识总结：正则表达式替换，遍历目录方法，列表按列排序、去重，字典排序，字典、列表、字符串互转，时间对象操作，命令行参数解析(getopt)，print ...

用Python爬虫获取自己感兴趣的博客文章

2018-03-27

用Python爬虫获取自己感兴趣的博客文章 在CSDN上有很多精彩的技术博客文章，我们可以把它爬取下来，保存在本地磁盘，可以很方便以后阅读和学习，现在我们就用python编写一段爬虫代码，来实现这个目的。 我 ...

学会数据分析技能让工作更顺心，Python助你步步高升

2018-03-24

学会数据分析技能让工作更顺心，Python助你步步高升 Python工具中数据分析常用的包和模块 numpy： 数组、 向量、 矩阵、 数值运算等 scipy： 统计推断、 统计检验等 pandas： 数据读取、 数据整合、 ...