下面是我们的日志文件,里面都是一条条这样的数据
为了将读取的日志文件存入mysql,我们需要读取日志文件,然后按照指定格式切割出需要的数据
表字段会是time, ip , level, messages
这个可以处理大文件,因此每次只读取一行
def read_log():
读取日志文件,进行数据重组,写入mysql
:return:
file = "data.log-2019"
with open(file) as f:
"""使用while循环每次只读取一行,读到最后一行的时候结束"""
while True:
lines = f.readline()
if not lines:
break
line = lines.split(",")
data.append((line[0], line[1].strip(), int(str(line[2]).strip()), line[3].strip()))
return data
if __name__ == '__main__':
data = []
print(read_log())
运行代码:这样我们得到了切割后重组好的数据,可以使用execute_many()方法将它插入数据库中
下面是我们的日志文件,里面都是一条条这样的数据为了将读取的日志文件存入mysql,我们需要读取日志文件,然后按照指定格式切割出需要的数据表字段会是time, ip , level, messages这个可以处理大文件,因此每次只读取一行def read_log(): """ 读取日志文件,进行数据重组,写入mysql :return: """ fi...
2016-10-21 21:07:59,787 [7 MainWindowForm]INFO: update time 136.6314
2016-10-21 21:07:59,908 [7 KinectServer]INFO: lClientSockets[0] elapsed time 16.
2016-10-21 21:07:59,918 [7 KinectServer]INFO: lClientSockets[1] ela
通常在前期调试代码的时候，我们会使用print在IDE控制台打印一些信息，判断运行情况。但在运行整个自动化测试项目的过程中，通过print打印信息的方式获取运行情况显然行不通。
这时就需要收集日志，每次运行后通过查看日志来获取项目运行情况。那么我们该如何获取日志？
一，日志概述
1，日志作用
在项目开发或测试过程中，项目运行一旦出现问题，记录日志信息就显得尤为重要。主要通过日志来定位问题，就好比侦探人员要根据现场留下的线索来推断案情。
2，日志级别
代码在运行的过程中会出现不同的情况，如调试信息、警告信息
在 Python 中，可以使用标准库中的 logging 模块来读取系统日志。
例如，你可以使用 logging.getLogger() 函数获取一个日志记录器对象，然后使用该对象的 warning() 或 error() 等方法来记录警告或错误信息。
你还可以使用 logging.basicConfig() 函数来配置日志记录的格式和输出目的地(例如文件或控制台)。
下面是一个示例代码，展示了如...
3、WARNING：一些意想不到的事情发生了(如："内存空间不足")，但是这个软件还能按预期工作，在不久的将来会出问题
4、ERROR：发生了错误，软件没能执行一些功能，还可以继续执行
5、CRITICAL：一个严重的错误，表明程序本身可能无法继续运行
```python
#创建日志收集器
logging.getLogger()
这是一个定时读取 实时日志文件的程序 。 目标文件是target_file. 它是应用程序实时写入的。
我要做的是，每个5秒钟，提取一次该日志文件中的内容，然后生成另一个文件。最后把这些文件都汇总。 请多多指教。#!/usr/local/bin/python
# coding:utf-8import fileinput
import time
import ostarget_file = 'use
access_log日志配置
access_log用来定义日志级别，日志位置。语法如下：
日志级别： debug > info > notice > warn > error > crit > alert > emerg
语法格式: access_log path [format [buffer=size] [gzip...
