作者 | A字头
来源 | 数据札记倌
有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高?
要知道,企业对一个员工的评价是出于“产出”而非“付出”。所以,如果把大量时间花在机械重复的工作上,不但工作效率不高,对个人发展来说也无甚帮助。
而这些工作,如果对于会点编程的人来说,往往通过几行代码就可以快速搞定了。
于是,我去了解了一下身边不同岗位(HR、产品、运营、市场、数据分析师等)每天需要面对的重复性劳动(肯定会有不全,欢迎补充~),总结了一些在工作中非常常见的例子,并且将源码整理好供参考。希望这些程序可以让你的工作更高效!(升职加薪了别忘了回来发红包哦~)
那么如何将这些统统实现呢?
我将这些分为以下几类,大家可以自行评估,各取所需:
系统录入自动化
由于你经常需要不断的将一些信息录入系统,每一次录入的过程中你可能需要不断的点击一些按钮,面对这种情况,完全可以写一个自动脚本,每次代替你来执行这些点击的行为。
这里我们需要用到splinter:
pip install splinter
这里写了一个自动登录邮箱的脚本,可以实现文本输入和网页点击:
#coding=utf-8 import time from splinter import Browser def splinter(url): browser = Browser() #login 126 email websize browser.visit(url) #wait web element loading time.sleep(5) #fill in account and password browser.find_by_id('idInput').fill('xxxxxx') browser.find_by_id('pwdInput').fill('xxxxx') #click the button of login browser.find_by_id('loginBtn').click() time.sleep(8) #close the window of brower browser.quit() if __name__ == '__main__': websize = 'https://mail.163.com/' splinter(websize)
同理可以写一个简单的游戏挂机脚本,游戏挂机脚本,无非就是自动移动鼠标,自动点击,进行重复操作,所以,第一步就是如何控制鼠标。
import win32api import time def move_click(x, y, t=0): # 移动鼠标并点击左键 win32api.SetCursorPos((x, y)) # 设置鼠标位置(x, y) win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN | win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0) # 点击鼠标左键 if t == 0: time.sleep(random.random()*2+1) # sleep一下 else: time.sleep(t) return 0 # 测试 move_click(30, 30) def resolution(): # 获取屏幕分辨率 return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1)
值得注意的是,一定要在管理员权限下的cmd中运行,否则点击无效。
这个时候,你已经可以写个循环,不停地点击屏幕上不同的几个点,最基础的挂机脚本就实现了。
Excel自动化处理
Excel合并
在实际应用中可能会有不同月份的数据或者不同周的报告等等的Excel数据,都是单个独立的文件,如果想要整体使用的话就需要合并一下,那么如何利用python把指定目录下的所有Excel数据合并成一个文件呢?
思路:利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中。
# -*- coding: utf-8 -*- #将多个Excel文件合并成一个 import xlrd import xlsxwriter #获取excel中所有的sheet表 def getsheet(fh): return fh.sheets() #获取sheet表的行数 def getnrows(fh,sheet): table=fh.sheets()[sheet] return table.nrows #读取文件内容并返回行内容 def getFilect(file,shnum): fh=open_xls(file) table=fh.sheets()[shnum] num=table.nrows for row in range(num): rdata=table.row_values(row) datavalue.append(rdata) return datavalue
或者直接用concat+一个循环来实现:
for i in var_list: df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息'] df_0['month'] = date_replace(i) df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']] li.append(df_0) writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx') df = pd.concat(li) df.to_excel(writer,'Sheet1',index=False,header = None) df
Excel中添加数据图表整理好excel文件后下一步需要做的是处理文件里的数据,根据数据来生成一些自己需要的图表:
import xlsxwriter #设置一个例子 data = [20, 45, 26, 18, 45] #创建表格 workbook = xlsxwriter.Workbook("temp.xlsx") worksheet = workbook.add_worksheet("data") #添加数据 worksheet.write_column('A1', data) #创建图表 chart = workbook.add_chart({'type': 'line'}) #图表添加数据 chart.add_series({ 'values': '=data!$A1:$A6', 'name': '图表名称', 'marker': { 'type': 'circle', 'size': 8, 'border': {'color': 'black'}, 'fill': {'color': 'red'} } , 'data_labels': {'values': True}, 'trendline': { 'type': 'polynomial', 'order': 2, 'name': '趋势线', 'forward': 0.5, 'backward': 0.5, 'display_equation':True, 'line': {'color': 'red', 'width':1, 'dash_type': 'long_dash'} } }) worksheet.insert_chart('c1', chart) workbook.close()
实现效果:
word关键信息提取
假设你收到1万份简历,你想先根据学校做一些筛选,这时候利用python将大量的简历进行信息汇总,只提取关键信息用excel查看起来更加方便。
docx文件自己本身是压缩文件,打开压缩包之后竟然发现里面有个专门存储word里面文本的文件。 那么步骤就变得简单了:1. 打开docx的压缩包2. 获取word里面的正文信息3. 利用正则表达式匹配出我们想要的信息4. 将信息存储到txt中(txt可以用excel打开)5. 批量调用上述过程,完成一万份简历的提取工作利用正则匹配获取关键信息:
import re def get_field_value(text): value_list = [] m = re.findall(r"姓 名(.*?)性 别", table) value_list.append(m) m = re.findall(r"性 别(.*?)学 历", table) value_list.append(m) m = re.findall(r"民 族(.*?)健康状况", table) value_list.append(m) ''' 此处省略其他字段匹配 ''' return value_list
自动化运营监控
在平时的工作中,一定会有对运营情况的监控,假设你管理一家店铺,那么一些关键指标肯定是你需要每天查看到的,比如店铺访问数,商品浏览数,下单数等等,这个时候不用每天重复地去统计这些数据,这需要写一个自动化程序,每天将数据保存在固定的文件夹下就可以实现报表的实时监控。
如果你的数据来源是线下文件:
from impala.dbapi import connect from impala.util import as_pandas import datetime conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password') #host:数据库域名 #user:数据库用户名 #password:数据库密码 df_data = pd.read_excel('temp.xlsx') rows =[] for index, row in df_data.iterrows(): rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',') a= ''' INSERT into table (case_id, birth_date) values ''' for i in rows: a += i a = a[:-1] cursor1 = conn.cursor() cursor1.execute(a) cursor1.close() conn.close() print('成功导入数据至数据库...') del a del rows
如果你的数据来源是线上文件(存在数据库)
import sql #sql是封装的sql文件 sql_end = sql.sql_end cursor1 = conn.cursor() for i in sql_end.split(';'): print(i) cursor1.execute(i) cursor1.close() conn.close() print('程序运行结束,请执行下一步。')
自动发送邮件
使用Python实现自动化邮件发送,可以让你摆脱繁琐的重复性业务,节省非常多的时间。数据分析师经常会遇到一些取数需求,有些数据需求是每天都需要的,有些数据需求是每周一次的。对于这些周期性的数据需求,每次都重复性地手动导出这些数据,并回传给需求方,是很繁琐且浪费时间的。所以完全可以设置自动邮件来解决。"Talk is cheap, show you the code"常见的邮件肯定有三部分:1、正文2、图片3、附件OK导入我们需要用到的包
from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart from email.mime.image import MIMEImage import smtplib msg = MIMEMultipart()
在邮件中插入正文:
##在邮件中插入文本信息 df_text='''<html> <body> <p> Hi all ,</p> <p> 这是一个测试邮件,详情请参考附件 </p> <p> 情况如下图: </p> </body></html>''' msgtext = MIMEText(df_text, 'html', 'utf-8') msg.attach(msgtext)
如果你需要插入图片,利用同样的方法,在邮件中插入图片:
##在邮件中插入图片信息 image = open('temp.jpg','rb') msgimage = MIMEImage(image.read()) msg.attach(msgimage)
在邮件中插入附件:
##在邮件添加附件 msgfile = MIMEText(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8') msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"' msg.attach(msgfile)
剩下的就是设置一些邮件参数来发送邮件:
#设置邮件信息常量 email_host= '' # 服务器地址 sender = '' # 发件人 password ='' # 密码,如果是授权码就填授权码 receiver = '' # 收件人
发送邮件:
try: smtp = smtplib.SMTP(host=email_host) smtp.connect(email_host) smtp.starttls() smtp.login(sender, password) smtp.sendmail(sender, receiver.split(',') , msg.as_string()) smtp.quit() print('发送成功') except Exception: print('发送失败')
然后将你的任务设置定时执行就可以轻松实现啦
实现效果:
平时的工作中,真的有太多可以去自动化的任务,由于经验受限这里不能一一举例说明,只能尽量分享一些我遇到过或者听说过的例子。希望大家都越来越高效,边偷懒边完成工作~
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29