会员服务

NLG任务评价指标BLEU与ROUGE

2020 年 5 月 25 日 AINLP

    

      准确率、精确率、召回率和F1是在机器学习及NLP领域中常用的指标，但是如果没有涉及机器翻译、摘要抽取等seq2seq任务，一般不会使用BLEU和ROUGE作为评价指标，本文将会着重介绍两个指标基本意义及计算方法，为使用者提供参考。

BLEU

英文全称Bilingual evaluation understudy，这是一个从机器翻译任务中衍生出来的评价翻译质量的指标，可以称为双语互译质量评估。当然现在这个指标也已经被推广到其他序列到序列任务，用作评价生成后序列的质量。
BLEU通过分析输出句子与参考句子的N元组共现的程度，度量输出句子结果的精准度。BLEU的分数取值范围是 0-1，分数越接近1，说明生成句子的质量越高。
计算公式：

BLEU需要计算输出句子1-gram，2-gram，...，N-gram的精确率，一般 N 设置为4即可，公式中的Pn指n-gram的精确率。Wn指n-gram的权重，一般设为均匀权重，即对于任意n都有 Wn = 1/N。
BP是惩罚因子，如果输出句子的长度小于最短的参考句子，则BP小于 1。
BLEU的1-gram精确率表示输出句子忠于原文的程度，而其他n-gram表示输出句子的流畅程度。


ROUGE
英文全称Recall-Oriented Understudy for Gisting Evaluation，通过计算输出句子与参考句子的N元组共现的概率，度量输出句子结果的召回率。
ROUGE-N: 在N-gram上计算召回率
计算公式：



分母是参考句子中n-gram的个数，分子是参考句子和输出句子共现（重合）的n-gram的个数。


ROUGE-L: 考虑了输出句子和参考句子之间的最长公共子序列
计算公式：


其中