热线电话：13121318867

登录
首页精彩阅读利用python实现新浪微博爬虫_python新浪微博爬虫
利用python实现新浪微博爬虫_python新浪微博爬虫
2016-12-30
收藏

利用python实现新浪微博爬虫_python新浪微博爬虫

本文后面的解决动态加载的程序依然有效

重新编辑了一次，出了点儿问题

第一个模块，模拟登陆sina微博，创建weiboLogin.py文件，输入以下代码：

[python]
  1. #! /usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import sys
  5. import urllib
  6. import urllib2
  7. import cookielib
  8. import base64
  9. import re
  10. import json
  11. import hashlib

  13. class weiboLogin:
  14.     cj = cookielib.LWPCookieJar()
  15.     cookie_support = urllib2.HTTPCookieProcessor(cj)
  16.     opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
  17.     urllib2.install_opener(opener)
  18.     postdata = {
  19.         ‘entry’: ‘weibo’,
  20.         ‘gateway’: ‘1’,
  21.         ‘from’: ”,
  22.         ‘savestate’: ‘7’,
  23.         ‘userticket’: ‘1’,
  24.         ‘ssosimplelogin’: ‘1’,
  25.         ‘vsnf’: ‘1’,
  26.         ‘vsnval’: ”,
  27.         ‘su’: ”,
  28.         ‘service’: ‘miniblog’,
  29.         ‘servertime’: ”,
  30.         ‘nonce’: ”,
  31.         ‘pwencode’: ‘wsse’,
  32.         ‘sp’: ”,
  33.         ‘encoding’: ‘UTF-8’,
  34.         ‘url’: ‘http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack’,
  35.         ‘returntype’: ‘META’
  36.     }

  38.     def get_servertime(self):
  39.         url = ‘http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=dW5kZWZpbmVk&client=ssologin.js(v1.3.18)&_=1329806375939’
  40.         data = urllib2.urlopen(url).read()
  41.         p = re.compile(‘(.∗)‘)
  42.         try:
  43.             json_data = p.search(data).group(1)
  44.             data = json.loads(json_data)
  45.             servertime = str(data[‘servertime’])
  46.             nonce = data[‘nonce’]
  47.             return servertime, nonce
  48.         except:
  49.             print ‘Get severtime error!’
  50.             return None

  52.     def get_pwd(self, pwd, servertime, nonce):
  53.         pwd1 = hashlib.sha1(pwd).hexdigest()
  54.         pwd2 = hashlib.sha1(pwd1).hexdigest()
  55.         pwd3_ = pwd2 + servertime + nonce
  56.         pwd3 = hashlib.sha1(pwd3_).hexdigest()
  57.         return pwd3

  59.     def get_user(self, username):
  60.         username_ = urllib.quote(username)
  61.         username = base64.encodestring(username_)[:-1]
  62.         return username


  65.     def login(self,username,pwd):
  66.         url = ‘http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.3.18)’
  67.         try:
  68.             servertime, nonce = self.get_servertime()
  69.         except:
  70.             print ‘get servertime error!’
  71.             return
  72.         weiboLogin.postdata[‘servertime’] = servertime
  73.         weiboLogin.postdata[‘nonce’] = nonce
  74.         weiboLogin.postdata[‘su’] = self.get_user(username)
  75.         weiboLogin.postdata[‘sp’] = self.get_pwd(pwd, servertime, nonce)
  76.         weiboLogin.postdata = urllib.urlencode(weiboLogin.postdata)
  77.         headers = {‘User-Agent’:‘Mozilla/5.0 (X11; Linux i686; rv:8.0) Gecko/20100101 Firefox/8.0 Chrome/20.0.1132.57 Safari/536.11’}
  78.         req  = urllib2.Request(
  79.             url = url,
  80.             data = weiboLogin.postdata,
  81.             headers = headers
  82.         )
  83.         result = urllib2.urlopen(req)
  84.         text = result.read()
  85.         p = re.compile(‘location\.replace\’(.∗?)\’‘)
  86.         try:
  87.             login_url = p.search(text).group(1)
  88.             urllib2.urlopen(login_url)
  89.             print “Login success!”
  90.         except:
  91.             print ‘Login error!’

然后创建main.py文件，输入以下代码：

[python]
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import weiboLogin
  5. import urllib
  6. import urllib2

  8. username = ‘你的微博用户名’
  9. pwd = ‘你的微博密码’

  11. WBLogin = weiboLogin.weiboLogin()
  12. WBLogin.login(username, pwd)

注意：若登陆失败，可能是你的账号在登陆的时候需要输入验证码！你在网页上登陆你的账号试试看，在账号设置里面可以设置某些地区不输入验证码。


接下来，考虑实现抓取微博的内容。

此时遇到一个困难，当抓取指定URL的微博时，初始显示只有15条。后面的是延迟显示的（ajax里面叫lazy load?）。也就是说，当滚动条第一次拖到最下面的时候，会显示第二部分，再拖到最下面，会显示第三部分。此时一个页面的微博才是完整的。所以，要获取一个微博页面的全部微博，需要访问这个页面三次。创建getWeiboPage.py文件，相应代码如下：

[python] view plain copy
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import urllib
  5. import urllib2
  6. import sys
  7. import time

  9. reload(sys)
  10. sys.setdefaultencoding(‘utf-8’)

  12. class getWeiboPage:
  13.     body = {
  14.         ‘__rnd’:”,
  15.         ‘_k’:”,
  16.         ‘_t’:‘0’,
  17.         ‘count’:’50’,
  18.         ‘end_id’:”,
  19.         ‘max_id’:”,
  20.         ‘page’:1,
  21.         ‘pagebar’:”,
  22.         ‘pre_page’:‘0’,
  23.         ‘uid’:”
  24.     }
  25.     uid_list = []
  26.     charset = ‘utf8’

  28.     def get_msg(self,uid):
  29.         getWeiboPage.body[‘uid’] = uid
  30.         url = self.get_url(uid)
  31.         self.get_firstpage(url)
  32.         self.get_secondpage(url)
  33.         self.get_thirdpage(url)
  34.     def get_firstpage(self,url):
  35.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]-1
  36.         url = url +urllib.urlencode(getWeiboPage.body)
  37.         req = urllib2.Request(url)
  38.         result = urllib2.urlopen(req)
  39.         text = result.read()
  40.         self.writefile(‘./output/text1’,text)
  41.         self.writefile(‘./output/result1’,eval(“u”'”+text+“”'”))

  43.     def get_secondpage(self,url):
  44.         getWeiboPage.body[‘count’] = ’15’
  45.     #   getWeiboPage.body[‘end_id’] = ‘3490160379905732’
  46.     #   getWeiboPage.body[‘max_id’] = ‘3487344294660278’
  47.         getWeiboPage.body[‘pagebar’] = ‘0’
  48.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]

  50.         url = url +urllib.urlencode(getWeiboPage.body)
  51.         req = urllib2.Request(url)
  52.         result = urllib2.urlopen(req)
  53.         text = result.read()
  54.         self.writefile(‘./output/text2’,text)
  55.         self.writefile(‘./output/result2’,eval(“u”'”+text+“”'”))
  56.     def get_thirdpage(self,url):
  57.         getWeiboPage.body[‘count’] = ’15’
  58.         getWeiboPage.body[‘pagebar’] = ‘1’
  59.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]

  61.         url = url +urllib.urlencode(getWeiboPage.body)
  62.         req = urllib2.Request(url)
  63.         result = urllib2.urlopen(req)
  64.         text = result.read()
  65.         self.writefile(‘./output/text3’,text)
  66.         self.writefile(‘./output/result3’,eval(“u”'”+text+“”'”))
  67.     def get_url(self,uid):
  68.         url = ‘http://weibo.com/’ + uid + ‘?from=otherprofile&wvr=3.6&loc=tagweibo’
  69.         return url
  70.     def get_uid(self,filename):
  71.         fread = file(filename)
  72.         for line in fread:
  73.             getWeiboPage.uid_list.append(line)
  74.             print line
  75.             time.sleep(1)
  76.     def writefile(self,filename,content):
  77.         fw = file(filename,‘w’)
  78.         fw.write(content)
  79.         fw.close()

在刚刚的main.py中加入相应内容，完整内容为：

  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import weiboLogin
  5. import getWeiboMsg
  6. import urllib
  7. import urllib2

  9. username = ‘你的微博用户名’
  10. pwd = ‘你的微博密码’

  12. WBLogin = weiboLogin.weiboLogin()
  13. WBLogin.login(username, pwd)

  15. WBmsg = getWeiboMsg.getWeiboMsg()
  16. url = ‘http://weibo.com/1624087025?from=otherprofile&wvr=3.6&loc=tagweibo’

  18. WBmsg.get_firstpage(url)
  19. WBmsg.get_secondpage(url)
  20. WBmsg.get_thirdpage(url)


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

python Linux 数据分析

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！
下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询