详解Python自建logging模块
简单使用
最开始,我们用最短的代码体验一下logging的基本功能。
import logging
logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#输出
out>>DEBG:root:logsomething
第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的。
第二步,logging.basicConfig函数,进行一系列默认的配置,包括format、handler等。
第三步,logger调用setLevel函数定义日志级别为DEBUG 最后,调用debug函数,输出一条debug级别的message,显示在了标准输出上。 logging中的日志级别
logging在生成日志的时候,有一个日志级别的机制,默认有以下几个日志级别:
CRITICAL = 50
ERROR = 40
WARNING = 30
INFO 20
DEBUG = 10
NOTEST = 0
每一个logger对象,都有一个日志级别,它只会输出高于它level的日志。如果一个logger的level是INFO,那么调用logger.debug()是无法输出日志的,而logger.warning()能够输出。
一般来说,以上的6个日志级别完全满足我们日常使用了。
logging中的基础类
logging是python的一个基础模块,它在python中的源码位置如下:
#主干代码
/usr/lib/python2.7/logging/__init__.py
#扩展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py
组成logging的主干的几个基础类都在__init__.py中:
第一个基础类LogRecord
一个LogRecord对象,对应了日志中的一行数据。通常包含:时间、日志级别、message信息、当前执行的模块、行号、函数名...这些信息都包含在一个LogRecord对象里。
LogRecord对象可以想象成一个大字典:
class LogRecord(object):
#代表一条日志的类
def getMessage(self):
#获取self.msg
def markLogRecord(dict):
#这个方法很重要,生成一个空的LogRecord,然后通过一个字典,直接更新LogReocrd中的成员变量
rv = LogRecord(None, None, "", 0, "", (), None, None)
rv.__dict__.update(dict)
return rv
第二个基础类Formatter
Formatter对象是用来定义日志格式的,LogRecord保存了很多信息,但是打印日志的时候我们只需要其中几个,Formatter就提供了这样的功能,它依赖于python的一个功能:
#通过字典的方式,输出格式化字符串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})
out >>>my_name:100
如果说LogRecord是后面的那个字典,那么Formatter就是前面的那个格式字符串...的抽象
重要的代码如下:
class Formatter(object):
def __init__(self, fmt=None, datefmt = None):
if fmt:
self._fmt = fmt
else:
#默认的format
self._fmt = "%(message)s"
def format(self, record)
#使用self._fmt进行格式化
s = self._fmt %record.__dict__
return s
第三个基础类Filter和Filterer
Filter类,功能很简单。Filter.filter()函数传入一个LogRecord对象,通过筛选返回1,否则返回0.从代码中可以看到,其实是对LogRecord.name的筛选。
Filterer类中有一个Filter对象的列表,它是一组Filter的抽象。
重要的代码如下:
class Filter(object):
def __init__(self, name=''):
self.name = name
self.nlen = len(name)
def filter(self, record):
#返回1表示record通过,0表示record不通过
if self.nlen == 0:
return 1
elif self.name == record.name:
return 1
#record.name不是以filter开头
elif record.name.find(self.name, 0, self.nlen) != 0:
return 0
#最后一位是否为
return (record.name[self.nlen] == '.')
class Filterer(object):
#这个类其实是定义了一个self.filters = []的列表管理多个filter
def addFilter(self, filter):
def removefilter(self, filter):
def filter(self, record):
#使用列表中所有的filter进行筛选,任何一个失败都会返回0
#例如:
#filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'
#此时record.name = 'A,B,C,D'这样的record才能通过所有filter的筛选
logging中的高级类
有了以上三个基础的类,就可以拼凑一些更重要的高级类了,高级类可以实现logging的重要功能。
Handler——抽象了log的输出过程 Handler类继承自Filterer。Handler类时log输出这个过程的抽象。
同时Handler类具有一个成员变量self.level,在第二节讨论的日志级别的机制,就是在Handler中实现的。
Handler有一个emit(record)函数,这个函数负责输出log,必须在Handler的子类中实现。
重要代码如下:
class Handler(Filterer):
def __init__(self, level = NOTEST)
#handler必须有level属性
self.level = _checkLevel(level)
def format(self, record):
#使用self.formatter, formattercord
def handler(self, record):
#如果通过filter的筛选,则emit这条log
rv = self.filter(record)
self.emit(record)
def emit(self, record):
#等待子类去实现
接下来看两个简单的handler的子类,其中在logging源码中,有一个handler.py专门定义了很多复杂的handler,有的可以将log缓存在内存中,有的可以将log做rotation等。
StreamHandler
最简单的handler实现,将log写入一个流,默认的stream是sys.stderr
重要的代码如下:
class StreamHandler(Handler):
def __init__(self, stream = None):
if stream is None:
stream = sys.stderr
self.stream = stream
def emit(self, record):
#将record的信息写入流
#处理一些编码的异常
fs = '%s\n' #每条日志都有换行
stream = self.stream
stream.write(fs%msg)
FileHandler
将log输出到文件的handler,继承StreamHandler
重要代码如下:
class FileHandler(StreamHandler):
def __init__(self, filename, mode='a')
#append方式打开一个文件
StreamHandler.__init__(self, self._open())
def emit(self, record):
#和streamhandler保持一致
StreamHandler.emit(self, record)
Logger——一个独立的log管道
什么是logger?
+ logger类继承自Filterer,
+ logger对象有logger.level日志级别
+ logger对象控制多个handler:logger.handlers = []
+ logger对象之间存在福字关系
简单的来说,logger这个类,集中了我们以上所有的LogRecord、Filter类、Formatter类、handler类。首先,logger根据输入生成一个LogRecord读写,经过Filter和Formatter之后,再通过self.handlers列表中的所有handler,把log发送出去。
一个logger中可能有多个handler,可以实现把一份log放到任意的位置。
class Logger(Filterer):
def __init__(self, name, level=NOTEST)
#handler列表
self.handlers = []
self.level = _checklevel(level)
def addHandler(self, hdlr):
def removeHandler(self, hdlr):
def _log(self, level, msg, args, exc_info=None, extra=None):
#在_log函数中创建了一个LogRecord对象
record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
#交给handle函数
self.handle(record)
def handle(self, reord):
#进行filter,然后调用callHandlers
if(not self.disabled) and self.filter(record):
self.callHandlers(record)
def callHandlers(self, record):
#从当前logger到所有的父logger,递归的handl传入的record
c = self
while c:
for hdlr in c.handlers:
hdlr.handle(record) #进入handler的emit函数发送log
....
c = c.parent
LoggerAdapter——对标准logger的一个扩展
LogRecord这个大字典中提供的成员变量已经很多,但是,如果在输出log时候仍然希望能够夹带一些自己想要看到的更多信息,例如产生这个log的时候,调用某些函数去获得其他信息,那么就可以把这些添加到Logger中,LoggerAdapter这个类就起到这个作用。
LoggerAdapter这个类很有意思,如果不做什么改动,那么LoggerAdapter类和Logger并没有什么区别。LoggerAdapter只是对Logger类进行了一下包装。
LoggerAdapter的用法其实是在它的成员函数process()的注释中已经说明了:
def process(self, msg, kwargs):
'''
Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
'''
也就是说重写process函数,以下是一个例子:
import logging
import random
L=logging.getLogger('name')
#定义一个函数,生成0~1000的随机数
def func():
return random.randint(1,1000)
class myLogger(logging.LoggerAdapter):
#继承LoggerAdapter,重写process,生成随机数添加到msg前面
def process(self,msg,kwargs):
return '(%d),%s' % (self.extra['name'](),msg) ,kwargs
#函数对象放入字典中传入
LA=myLogger(L,{'name':func})
#now,do some logging
LA.debug('some_loging_messsage')
out>>DEBUG:name:(167),some_loging_messsage
数据分析咨询请扫描二维码
自学数据分析可能看似一项艰巨的任务,尤其在开始时。但是,通过一些策略和方法,你可以系统地学习和掌握数据分析的相关知识和技 ...
2024-11-10Excel是数据分析领域中的一款强大工具,它凭借其灵活的功能和易用的界面,成为了许多数据分析师和从业者的首选。无论是简单的数 ...
2024-11-10在快速发展的商业环境中,数据分析能力已经成为许多行业的核心竞争力。无论是初学者还是经验丰富的专家,搭建一个有效的数据分析 ...
2024-11-10在如今的数据驱动世界,数据分析师在各行各业中扮演着至关重要的角色。随着企业越来越依赖数据决策,数据分析职位的需求不断增加 ...
2024-11-10在信息爆炸的时代,做出正确的数据分析方法选择变得尤为重要。这不仅影响到数据分析的准确性,更关系到最终的决策效果。本文将详 ...
2024-11-10在当今竞争激烈的市场环境中,准确地把握市场动态和消费者需求是企业成功的关键。数据分析以其科学严谨的方法论,成为市场研究的 ...
2024-11-09在数据驱动的世界中,准确的数据分析是成功决策的基石。然而,数据分析的准确性并非一蹴而就,它需要多种方法和步骤的综合应用。 ...
2024-11-09推动银行的数字化转型是一个复杂且多维度的过程,涉及从战略、技术、组织到业务的多方面综合考量。这不仅仅是技术层面的变革,更 ...
2024-11-09国有企业作为国家经济的重要支柱,在提升经济效益和市场竞争力方面扮演着关键角色。然而,面对日益激烈的市场竞争和复杂的经济环 ...
2024-11-09业务分析师(Business Analyst,简称BA)是现代企业中不可或缺的角色。他们不仅是需求分析的专家,更是企业战略规划中的重要参与 ...
2024-11-09银行业正面临着一场全方位的数字化革命,旨在提升服务效率和客户体验,同时优化运营和增收。在这篇文章中,我们通过分析一些成功 ...
2024-11-09数据挖掘技术正在重新定义现代市场营销的方式。对于企业来说,能够深入了解消费者行为、需求和偏好是实现精准市场营销的关键, ...
2024-11-09在当今数据驱动的世界中,数据分析可视化已经成为一种必不可少的技能。它不仅帮助专业的数据分析师更好地传达信息,也使复杂的数 ...
2024-11-09在如今的数据驱动时代,掌握数据分析的工具和方法不仅是提高工作效率的关键,也是开拓职业机会的重要技能。数据分析涉及从数据的 ...
2024-11-08在现代商业环境中,企业正在逐步认识到数据挖掘技术在客户行为分析中的重要性。通过深度分析客户数据,这项技术不仅可以帮助企业 ...
2024-11-08数据挖掘分析是从大量数据中发现隐藏模式和有用信息的过程。尤其是在图数据挖掘中,提供了分析复杂关系和结构的独特视角。图数据 ...
2024-11-08在当今快速发展的商业环境中,提高运营效率已成为企业取得成功的关键因素。企业需要通过优化工作流程、利用技术创新和提升员工技 ...
2024-11-08Python 是一门非常适合初学者学习的编程语言。其简洁明了的语法、丰富的功能库,以及广泛的应用领域,使其成为学习编程的理想选 ...
2024-11-08在当今快速变化的商业环境中,金融数字化已经成为中小企业(SMEs)发展的关键驱动力。通过采用数字工具和技术,中小企业能够提高 ...
2024-11-08中小企业在全球经济中扮演着重要角色,然而,面对数字化浪潮,这些企业如何有效转型成为一大挑战。数字化转型不仅是技术的升级, ...
2024-11-08