大家好,我是曹鑫老师,今天要给大家分享的是网上数据的自动批量搜集整理,大家更熟悉的名字是「爬虫」。
扫码预约九宫格数据
线下体验店
在课程开始之前,我要先说一段免责声明:这次课程对于数据抓取的相关知识,只做学术探讨,不要利用抓取到的数据做有损访问网站商业利益的事情,比如你也建立一个同样业务的网站;也不要对访问网站的服务器造成压力,影响正常用户的访问。以上也是大家以后在进行数据采集的时候需要注意的。那我们继续讲技术,数据采集对于我们日常的工作有什么帮助呢?我举个例子。
比如当我们来到CDA官网的直播公开课页面,我们可以看到这里有很多的课程,每个课程的组成部分是一致的,包含了它的主题海报、标题内容、授课老师的介绍和头像,同时我还可以翻页到下一页,看到更多的往期公开课,这种构造相信你在很多网站都看到过,你就要联想到,今天学到的内容,也差不多能应用到类似的网站去。
接下来,如果想要把这些内容全部整理到一张Excel表里面,你该怎么办?第一反应是不是:那就去挨个复制标题,复制老师的名字,复制介绍内容,一个个粘贴到Excel表里?没错,这是我们要做的,但真要拿着鼠标去挨个点,敲着键盘 `Ctrl+C`、 `Ctrl+V`,未免也太累了,这就是日常工作中比较典型的场景:任务操作一点不难,但需要不断重复操作,费时费力。
如果掌握了 Python 数据采集,我会怎么来解决这个重复操作的任务呢?我先给你演示一下效果。代码不难,就这么一段,你现在看肯定一头雾水,不要着急,我一段段带你来阅读理解。
点击`Shift+回车`,我们运行一下代码看看:
1. 浏览器自动打开指定的页面,也就是直播公开课的第一页。
2. Anaconda 中,星号表示该代码区域正在运行,而在代码区域下方会输出打印的结果。
3. 紧接着循环获取数据,代码获取到了第一页的内容,并整理成表格打印出来。
4. 然后,浏览器自动翻页到第二页,又一次获取第二页的内容,并整理成表格打印出来。
5. 继续,第三页,同样的输出。
6. 最后,输出了一个 Excel 文件,我们打开看一下,全部页数我需要的数据都整理好了。
我们想要的效果实现了,有几个好处:
1. 我只点了一下鼠标移动到代码区域;敲了一下键盘 `Shift+回车`启动程序,接下来我就不用再点鼠标或者敲键盘了,全部交给 Python 程序
2. 我现在是获取3页,我要获取10页,100页,1000页,我只要改一下循环这里的数字,让它循环10次、100次甚至是1000次,再也不用多花更多时间和体力,始终就是一点一运行,剩下的体力活全部交给 Python 。
一旦掌握了数据采集技术,类似的重复性工作你都可以自动化完成。
下面是分享给大家的代码,可以自行操作试试哦。
# 调用包 from selenium import webdriver from lxml import etree import pandas as pd # 启动浏览器打开指定网页 browser = webdriver.Chrome('/Users/davidfnck/Downloads/chromedriver') url = 'https://www.cda.cn/open.html' browser.get(url) # 先创建一个汇总的数据空表 df_all = pd.DataFrame() # 循环获取每一页 for i in range(3): page_no = i+1 # 获取页面源码解析 html = etree.HTML(browser.page_source) # 获取数据 ## 标题 title_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/h2/text()') ## 讲师 teacher_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/h4/text()') ## 介绍 intro_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/p/text()') ## 图片 pic_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/img/@src') ## 链接 link_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/@href') # 组合成字典,生成数据表 all_dict = {'标题':title_list, '讲师':teacher_list, '介绍':intro_list, '海报':pic_list, '链接':link_list } df = pd.DataFrame(all_dict) # 输出结果 print(f'第{page_no}页的输出结果:') print(df.head(3)) # 新表拼接到旧表的结尾 df_all = df_all.append(df) # 点击翻页 browser.find_element_by_xpath('/html/body/div[3]/div[2]/div/a[4]').click() # 数据表写入输出 Excel df_all.to_excel('./CDA_Live_公开课_多页.xlsx') print('最终结果的Excel已经生成')
当下企业数字化转型正快速发展,在越来越严苛的外部监管及越来越激烈的市场竞争驱动下,各行各业都在急迫地对数据进行最大化的价值挖掘。然而,大多数企业在推动落地时,都会遇到诸多问题。快速了解“数据从治理到分析”的落地流程与产出效果,以最低成本实现团队协同,快速解决深奥数据问题,成为越来越多企业加大数字化转型投入的核心动力。
CDA数据分析师作为专注于数字化人才培养及服务的教育品牌, 一直致力于大数据在产、学、 研的融合应用。以“培养企业需要的专业数字化人才, 搭建引领数字化时代的企业人才梯队” 为使命, 为DT时代数字化人才的数据能力提升及企业数字化转型提供标准化、 高效率、 可落地的数据应用侧解决方案。成立15年来, 始终在总结凝练先进数字化商业数据策略及技术应用实践, 以实际行动提升了数字化人才的职业素养与能力水平, 以建设高质量生态圈层促进了行业的持续快速发展。
CDA数据分析师携手华矩科技,以数据治理与数据分析为特色,联合开设九宫格数据体验店北京分店并对外运营。
图-CDA&华矩联合的九宫格数据·数据治理与分析体验店
体验内容
在数据治理与分析体验店,您可以从技术、业务、管理三大方面全方位体验数据治理与分析。
而CDA数据分析师与华矩科技的强强联合,也赋予了数据治理与分析体验店更多特色体验,主要包括:
体验店的亮点优势
区别于以往很重的数据治理咨询与实施,华矩科技首创的九宫格数据体验店模式让用户可以更轻更快地了解与体验数据治理,并在体验店获得场景模拟,团队协同和报告输出。主要包括:
开放免费体验科目
新店试业期间,九宫格数据·数据治理与分析体验店数个技术场景科目免费体验,从数据预处理、数据探查与诊断、数据清洗规则与标准化设计、数据集成、数据优化、数据质量监控到数据分析和数据挖掘等全流程场景,了解数据从产生到处理到应用的相关逻辑与实操路径,实现一个闭环体验并赋能个人技能习得或团队项目预演。
体验预约须知
1. 体验店开放地点
广州店:广州市天河区体育东路122号羊城商贸中心西塔1010
深圳店:深圳市福田区新闻路华丰大厦303
北京店:北京市海淀区高梁桥斜街59号院1号楼13层1306
2. 体验店开放时间
周一至周五 9:00-18:00
3. 体验预约流程
填写预约申请表单——后台审核体验资格——沟通确认体验时间地点——上门体验
4. 体验内容说明
每个场景科目均包含高级顾问辅导与自由实操环节,以确保用户了解操作方法并能自主操作获得结果。如需更多操作原理与数据治理与分析理论方法,敬请关注体验店后续推出的培训课程。
5. 温馨提示
新店开业期间针对既定科目场景开放免费体验,限时限量,请尽快预约体验。
不同科目体验涉及不同时长,敬请注意体验期间差旅住宿餐饮等费用需自理。
*该活动最终解释权归九宫格数据·数据治理与分析体验店所有。
码上预约体验,开启不一样的数据治理之旅
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10推荐学习书籍 《CDA一级教材》在线电子版正式上线CDA网校,为你提供系统、实用、前沿的学习资源,助你轻松迈入数据分析的大门! ...
2025-03-07在数据驱动决策的时代,掌握多样的数据分析方法,就如同拥有了开启宝藏的多把钥匙,能帮助我们从海量数据中挖掘出关键信息,本 ...
2025-03-06