用Python爬虫获取自己感兴趣的博客文章
在CSDN上有很多精彩的技术博客文章,我们可以把它爬取下来,保存在本地磁盘,可以很方便以后阅读和学习,现在我们就用python编写一段爬虫代码,来实现这个目的。
我们想要做的事情:自动读取博客文章,记录标题,把心仪的文章保存到个人电脑硬盘里供以后学习参考。
过程大体分为以下几步:
1. 找到爬取的目标网址;
2. 分析网页,找到自已想要保存的信息,这里我们主要保存是博客的文章内容;
3. 清洗整理爬取下来的信息,保存在本地磁盘。
打开csdn的网页,作为一个示例,我们随机打开一个网页:
http://blog.csdn.net/u013088062/article/list/1。
可以看到,博主对《C++卷积神经网络》和其它有关机计算机方面的文章都写得不错。
爬虫代码按思路分为三个类(class),下面3个带“#”的分别给出了每一个类的开头(具体代码附后,供大家实际运行实现):
采用“类(class)”的方式属于Python的面向对象编程,在某些时候比我们通常使用的面向过程的编程方便,在大型工程中经常使用面向对象编程。对于初学者来说,面向对象编程不易掌握,但是经过学习习惯之后,会逐步慢慢从面向过程到面向对象编程过渡。
特别注意的是,RePage类主要用正则表达式处理从网页中获取的信息,正则表达式设置字符串样式如下:
用正则表达式去匹配所要爬取的内容,用Python和其它软件工具都可以实现。正则表达式有许多规则,各个软件使用起来大同小异。用好正则表达式是爬虫和文本挖掘的一个重要内容。
SaveText类则是把信息保存在本地,效果如下:
用python编写爬虫代码,简洁高效。这篇文章仅从爬虫最基本的用法做了讲解,有兴趣的朋友可以下载代码看看,希望大家从中有收获。
附相关Python代码:
1#-*-coding:UTF-8-*-
2import re
3import urllib2
4import sys
5#目的:读取博客文章,记录标题,用Htnl格式保存存文章内容
6#版本:python2.7.13
7#功能:读取网页内容
8class GetHtmlPage():
9 #注意大小写
10 def __init__(self,strPage):
11 self.strPapge = strPage
12 #获取网页
13 def GetPage(self):
14 req = urllib2.Request(self.strPapge) # 建立页面请求
15 rep = req.add_header("User-Agent","Mozilla/5.0
(Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
16 try:
17 cn = urllib2.urlopen(req) #网页请求
18 page = cn.read() #读网页
19 uPage = page.decode("utf-8") #网页编码
20 cn.close()
21 return uPage
22 except urllib2.URLError, e: #捕获异常
23 print 'URLError:', e.code
24 return
25 except urllib2.HTTPError, e: #捕获异常
26 print 'HTTP Error:' + e.reason
27 return
28 return rePage
29#正则表达式,获取想要的内容
30class RePage():
31#正则表达式提取内容,返回链表
32 def GetReText(self,page,recode):
33 rePage = re.findall(recode,page,re.S)
34 return rePage
35#保存文本
36class SaveText():
37 def Save(self,text,tilte):
38 try:
39 t="blog\\"+tilte+".html"
40 f = file(t,"a")
41 f.write(text)
42 f.close()
43 except IOError,e:
44 print e.message
45if __name__ == "__main__":
46 s = SaveText()
47 #文件编码
48 #字符正确解码
49 reload(sys)
50 sys.setdefaultencoding( "utf-8" ) #获得系统的默认编码
51 #获取网页
52 page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53 htmlPage = page.GetPage()
54 #提取内容
55 reServer = RePage()
56 reBlog = reServer.GetReText(htmlPage,r'<span
class="link_title"><a
href="(.+?)">.*?(\s.+?)</a></span>') #获取网址链接和标题
57 #再向下获取正文
58 for ref in reBlog:
59 pageHeard = "http://blog.csdn.net/" #加链接头
60 strPage = pageHeard+ref[0]
61 tilte=ref[1].replace('<font color="red">[置顶]</font>', "") #用替换的功能去除杂的英文
62 tilte=tilte.replace("\r\n","").lstrip().rstrip()
63 #获取正文
64 htmlPage = GetHtmlPage(strPage)
65 htmlPageData = htmlPage.GetPage()
66 reBlogText = reServer.GetReText(htmlPageData,'<div
id="article_content" class="article_content">(.+?)</div>')
67 #保存文件
68 for s1 in reBlogText:
69 s1='<meta charset="UTF-8">\n'+s1
70 s.Save(s1,tilte)
根据上期学员的反馈和优化,接下来覃老师主讲Python数据挖掘课程变成4天,跟着覃老师一起领悟数据挖掘算法在行业应用。强化的培训,应该让你可以学完后很自信,学以致用,快速上手解决工作中的问题。
4天课程内容足够丰富,想学习的朋友报名从速,点击阅读原文,查看课程详情,缴费后获得预习视频和资料。
在线咨询:
张老师
座机:010-68456523
QQ:2881989712
扫码添加微信
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10