添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

python实现计算精度、召回率和F1值

摘要:在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy)、召回率(recall)和F1值。本文首先简要介绍如何计算精度、召回率和F1值,其次给出python编写的模块,可直接将该模块导入在自己的项目中,最后给出这个模块的实际使用效果。

一、混淆矩阵及P、R、F1计算原理

1、混淆矩阵

在进行二分类或多分类任务中,对于预测的评估经常需要构建一个混淆矩阵来表示测试集预测类与实际类的对应关系,混淆矩阵横坐标表示实际的类,纵坐标表示预测的类。混淆矩阵属于 F 1 = p r e d i c t i o n + r e c a l l 2 × p r e d i c t i o n × r e c a l l

3、样例计算
为了更加清楚的理解上面的计算公式,给出一个关系抽取的实例,例如下面的混淆矩阵,横坐标为实际类,纵坐标为预测的类,一共19个类。

在这里插入图片描述
总体均值为: 7 1 . 4 3

二、python模块

为了在实际实验中更快捷的计算相应值,许多集成的perl脚本可以很轻松的实现计算,但为了更加方便用户编辑以及无缝接入自己的项目中,本文实现python的简单脚本。用户仅需import即可调用,源码如下:

#####模块说明######
根据传入的文件true_label和predict_label来求模型预测的精度、召回率和F1值,另外给出微观和宏观取值。
powered by wangjianing 2019.3.2
import numpy as np
def getLabelData(file_dir):
    模型的预测生成相应的label文件,以及真实类标文件,根据文件读取并加载所有label
    1、参数说明:
        file_dir:加载的文件地址。
        文件内数据格式:每行包含两列,第一列为编号1,2,...,第二列为预测或实际的类标签名称。两列以空格为分隔符。
        需要生成两个文件,一个是预测,一个是实际类标,必须保证一一对应,个数一致
    2、返回值:
        返回文件中每一行的label列表,例如['true','false','false',...,'true']
    labels = []
    with open(file_dir,'r',encoding="utf-8") as f:
        for i in f.readlines():
            labels.append(i.strip().split(' ')[1])
    return labels
def getLabel2idx(labels):
    获取所有类标
    返回值:label2idx字典,key表示类名称,value表示编号0,1,2...
    label2idx = dict()
    for i in labels:
        if i not in label2idx:
            label2idx[i] = len(label2idx)
    return label2idx
def buildConfusionMatrix(predict_file,true_file):
    针对实际类标和预测类标,生成对应的矩阵。
    矩阵横坐标表示实际的类标,纵坐标表示预测的类标
    矩阵的元素(m1,m2)表示类标m1被预测为m2的个数。
    所有元素的数字的和即为测试集样本数,对角线元素和为被预测正确的个数,其余则为预测错误。
    返回值:返回这个矩阵numpy
    true_labels = getLabelData(true_file)
    predict_labels = getLabelData(predict_file)
    label2idx = getLabel2idx(true_labels)
    confMatrix = np.zeros([len(label2idx),len(label2idx)],dtype=np.int32)
    for i in range(len(true_labels)):
        true_labels_idx = label2idx[true_labels[i]]
        predict_labels_idx = label2idx[predict_labels[i]]
        confMatrix[true_labels_idx][predict_labels_idx] += 1
    return confMatrix,label2idx
def calculate_all_prediction(confMatrix):
    计算总精度:对角线上所有值除以总数
    total_sum = confMatrix.sum()
    correct_sum = (np.diag(confMatrix)).sum()
    prediction = round(100*float(correct_sum)/float(total_sum),2)
    return prediction
def calculate_label_prediction(confMatrix,labelidx):
    计算某一个类标预测精度:该类被预测正确的数除以该类的总数
    label_total_sum = confMatrix.sum(axis=0)[labelidx]
    label_correct_sum = confMatrix[labelidx][labelidx]
    prediction = 0
    if label_total_sum != 0:
        prediction = round(100*float(label_correct_sum)/float(label_total_sum),2)
    return prediction
def calculate_label_recall(confMatrix,labelidx):
    计算某一个类标的召回率:
    label_total_sum = confMatrix.sum(axis=1)[labelidx]
    label_correct_sum = confMatrix[labelidx][labelidx]
    recall = 0
    if label_total_sum != 0:
        recall = round(100*float(label_correct_sum)/float(label_total_sum),2)
    return recall
def calculate_f1(prediction,recall):
    if (prediction+recall)==0:
        return 0
    return round(2*prediction*recall/(prediction+recall),2)
def main(predict_file,true_file):
    该为主函数,可将该函数导入自己项目模块中
    打印精度、召回率、F1值的格式可自行设计
    #读取文件并转化为混淆矩阵,并返回label2idx
    confMatrix,label2idx = buildConfusionMatrix(predict_file,true_file)
    total_sum = confMatrix.sum()
    all_prediction = calculate_all_prediction(confMatrix)
    label_prediction = []
    label_recall = []
    print('total_sum=',total_sum,',label_num=',len(label2idx),'\n')
    for i in label2idx:
        print('  ',i)
    print('  ')
    for i in label2idx:
        print(i,end=' ')
        label_prediction.append(calculate_label_prediction(confMatrix,label2idx[i]))
        label_recall.append(calculate_label_recall(confMatrix,label2idx[i]))
        for j in label2idx:
            labelidx_i = label2idx[i]
            label2idx_j = label2idx[j]
            print('  ',confMatrix[labelidx_i][label2idx_j],end=' ')
        print('\n')
    print('prediction(accuracy)=',all_prediction,'%')
    print('individual result\n')
    for ei,i in enumerate(label2idx):
        print(ei,'\t',i,'\t','prediction=',label_prediction[ei],'%,\trecall=',label_recall[ei],'%,\tf1=',calculate_f1(label_prediction[ei],label_recall[ei]))
    p = round(np.array(label_prediction).sum()/len(label_prediction),2)
    r = round(np.array(label_recall).sum()/len(label_prediction),2)
    print('MACRO-averaged:\nprediction=',p,'%,recall=',r,'%,f1=',calculate_f1(p,r))

使用说明:
1、在自己的项目中,做模型的测试时,需要将实际类及预测类分别写入文件,格式例如下图:第一列为编号,第二列为类,中间用一个字符的空格隔开。
在这里插入图片描述

2、在测试的文件中添加导入模块语句

import prf1(假设这个脚本保存为 prf1.py)

3、模型预测后,执行(其中predict_file和true_file分别表示预测类文件和实际类文件):

prf1.main(predict_file,true_file)

备注:当然大家可以自己设计main函数中的打印格式

三、使用效果

  博主将该脚本用在自己的实验中,做关于中文学科知识点关系抽取实验中,输出效果如图:
在这里插入图片描述
在这里插入图片描述
  博客记录着学习的脚步,分享着最新的技术,非常感谢您的阅读,本博客将不断进行更新,希望能够给您在技术上带来帮助。欢迎转载,转载请注明出处

python实现计算精度、召回率和F1值  摘要:在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy)、召回率(recall)和F1值。本文首先简要介绍如何计算精度、召回率和F1值,其次给出python编写的模块,可直接将该模块导入在自己的项目中,最后给出这个模块的实际使用效果。一、混淆矩阵及P、R、F1计算原理1、混淆... 获取训练集总的预判正确个数 train_acc += train_correct.data[0] #用来计算正确率 准确率 : train_acc / (len(train_data)) 2.误判率 举例:当你是二分类时,你需要计算 原标签为1,但预测为 0 ,以及 原标签 https://blog.csdn.net/kan2281123066/article/details/103237273 代码:利用sklearn 计算 precision、recall、F1 score https://blog.csdn.net/blythe0107/article/details/75003890代码:sklearn的precision_score, recall_score, f1_score使用 https://blog.csdn.net/Urbanea...
混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。在二分类场景里是一个2x2的矩阵。如下图。 TP(True Positive):真正例,实际上和预测中都是正例; FP(False Positive):假正例,实际上是负例,但是被预测为正例了; FN(False Negative):假负例,实际上是正例,但是被预测为负例了; TN(True Negative):真负例,实际上和预测中都是负例。 import numpy as np # 计算混淆矩阵 def compute_
python - sklearn 计算F1 因为最近写的分类模型需要性能评价 ,常用的分类性能评价有 查准率、召回率、准确率、F1 分类问题的常用的包 sklearn ,下面对F1所用的方法进行介绍 查准率 请看另外一篇文章: sklearn 计算查准率 召回率 请看另外一篇文章: sklearn 计算召回率 对于我们的二分类问题,会有以下情况: 真正例(True Positive,TP):真实类别为正例,预测类别为正例。 假正例(False Positive,FP):真实类别为负例,预测类别
混淆矩阵见:https://blog.csdn.net/qq_36895331/article/details/115271792?spm=1001.2014.3001.5501 import numpy as np from sklearn.metrics import accuracy_score y_pred = [0, 2, 1, 3] y_true = [0, 1, 2, 3] print(accuracy_score(y_true, y_pred)) print(acc # 读取实验结果中的精度和损失 def data_plot(path): # path = r'./model_png\5gcn_128_node_pos_floor_2000.log' # path = r'./[6, 6]_Standard_taz.csv' with open(path, mode="r", encoding="utf-8") as f:
目录混淆矩阵准确率精确率召回率 分类是机器学习中比较常见的任务,对于分类任务常见的评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。 这篇文章将结合sklearn对准确率、精确率、召回率F1 score进行讲解,ROC曲线可以参考我的这篇文章...
sklearn.metrics.classification_report 分类报告:sklearn.metrics.classification_report(y_true, y_pred, labels=None, target_names=None,sample_weight=None, digits=2),显示主要的分类指标,返回每个类标签的精确、召回率F1 主要参数说明: labels:分类报告中显示的类标签的索引列表 target_names:显示与labels对应的名称 digits:指定
1 PIL基本操作:主要是为了介绍 PIL 打开、展示和保存图像的基本运用。 2 图像处理:这个主要是为了对原始图像进行再处理,从而使图像符合我们的需求, 通常这里的处理情况会影响到模型训练的精度和准。 3 图像向量化:由于图片是非结构化数据,计算机不能直接识别处理, 因此需要向量化处理,从而转换成结构 在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy)、召回率(recall)和F1。本文首先简要介绍如何计算精度召回率F1,其次给出python编写的模块,可直接将该模块导入在自己的项目中,最后给出这个模块的实际使用效果。 混淆矩阵及P、R、F1计算原理 进行二分类或多分类任务中,对于预测的评估经常需要构建一个混淆矩阵来表示测试集预测类与实际类的对应关系,混淆矩阵横坐标表示实际的类,纵坐标表示预测的类。混
【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation Linda426: 您好,这篇论文有几个问题可否请教一下?(1)figure2 中的两个紫色encoder 与一个绿色encoder是相互独立的吗?(2)既然知识图谱嵌入用的是bert,那关系的嵌入初始化是如何进一步使用的? Prompt-Tuning——深度解读一种新的微调范式 weixin_45786629: 催更催更。建议博主可以把任务分一分,我们帮着一起做做,发挥下众包机制。跟看小说一样,没完结太折磨了,都想自己写了 Prompt-Tuning——深度解读一种新的微调范式 太强了,求更!!! 【In-Context Learning】Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? 【In-Context Learning】What Makes Good In-Context Examples for GPT-3? 【Chain-of-Thought 专题】Self-consistency Improves Chain Of Thought Reasoning in Language Models