机器翻译评测——BLEU改进后的NIST算法

作者：手机用户2502856573 | 来源：互联网 | 2023-09-18 10:55

　　转载请注明出处：http://www.cnblogs.com/by-dream/p/7765345.html

　　上一节介绍了BLEU算的缺陷。NIST(National Institute of standards and Technology)方法是在BLEU方法上的一种改进。最主要的是引入了每个n-gram的信息量(information)的概念。BLEU算法只是单纯的将n-gram的数目加起来，而nist是在得到信息量累加起来再除以整个译文的n-gram片段数目。这样相当于对于一些出现少的重点的词权重就给的大了。

　　信息量的计算公式是：

　　解释一下：分母是n元词在参考译文中出现的次数，分子是对应的n-1元词在参考译文中的出现次数。对于一元词汇，分子的取值就是整个参考译文的长度。这里之所以这样算，应该是考虑到出现次数少的就是重点词这样的一个思路。

　　计算信息量之后，就可以对每一个共现n元词乘以它的信息量权重，再进行加权求平均得出最后的评分结果：　　

机器翻译评测——BLEU改进后的NIST算法

　　这里注意几个地方：

　　1、N一般取5

　　2、β是一个常数，在Lsys/Lref=2/3 时，β使得长度罚分率为0.5，它是个经验值，大概的曲线是：

机器翻译评测——BLEU改进后的NIST算法

　　3、Lref 是参考答案的平均长度（注意L的上方有一个平均符号）

　　4、Lsys是译文的长度

　　下面是我费劲千辛万苦找到了计算nist值的工具：

　　首先进入nist组织的官网：https://www.nist.gov/itl/iad/mig/tools
机器翻译评测——BLEU改进后的NIST算法
　　下载第三个，然后我们直接运行，发现因为找不到依赖的库，会出现报错：

　　Can't locate XML/Twig.pm in @INC (you may need to install the XML::Twig module)

机器翻译评测——BLEU改进后的NIST算法

　　之前也不会perl，这个也折腾了好久。下载XML-Twig 。进入：http://search.cpan.org/~mirod/XML-Twig-3.48/Twig.pm

机器翻译评测——BLEU改进后的NIST算法

　　下载成功后，需要三步：

　　1、perl Makefile.PL -y ：这一步在下载下来的readme中有说明，参数还可以指定 -n。

　　2、make

机器翻译评测——BLEU改进后的NIST算法

　　3、make install：这一步需要root权限，否则会报错

机器翻译评测——BLEU改进后的NIST算法

　　没给root权限，报的错

机器翻译评测——BLEU改进后的NIST算法

　　我们再运行一下，没有再报错了

机器翻译评测——BLEU改进后的NIST算法

　　我们用nist提供的example试试，发现算法可以使用：

机器翻译评测——BLEU改进后的NIST算法

我们看下其他的用法：

BLEU-4（mteval-v13a，官方OpenMT12评估指标）
　　调用行： perl mteval-v13a.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -b
　　选项-c：区分大小写的得分
　　选项-b：仅BLEU得分
IBM BLEU（bleu-1.04a）
　　调用行： perl bleu-1.04.pl -r REFERENCE_FILE -t CANDIDATE_FILE
　　默认情况下，评分是区分大小写的
NIST（mteval-v13a）
　　调用行： perl mteval-v13a.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -n
　　选项-c：区分大小写的得分
　　选项-n：仅NIST评分
TER（tercom-0.7.25）
　　调用行： java -jar tercom.7.25.jar -r REFERENCE_FILE -h CANDIDATE_FILE -N -s
　　选项-N：启用归一化
　　选项-s：区分大小写的得分
METEOR（气象0.7）
　　调用行： perl meteor.pl -s SYSTEM_ID -r REFERENCE_FILE -t CANDIDATE_FILE --modules "exact porter_stem wn_stem wn_synonymy"
　　选项--modules "exact porter_stem wn_stem wn_synonymy"：按照顺序使用所有四个METEOR匹配模块

　　这里我们可以看到除了提供nist算法外，还提供BLEU，于是我们用BLEU那篇文章中举例的那句话，我们看看值是否相等。

　　src.xml:

xml version="1.0" encoding="utf-8"?>
DOCTYPE mteval SYSTEM "ftp://jaguar.ncsl.nist.gov/mt/resources/mteval-xml-v1.3.dtd">
<mteval>
    <srcset setid="example_set" srclang="Arabic">
        <doc docid="doc1" genre="nw">
            <p>
                <seg id="1">下午去打篮球不？"seg>
            p>
        doc>
    srcset>
mteval>

　　tst.xml:

xml version="1.0" encoding="utf-8"?>
DOCTYPE mteval SYSTEM "ftp://jaguar.ncsl.nist.gov/mt/resources/mteval-xml-v1.3.dtd">
<mteval>
    <tstset setid="example_set" srclang="Arabic" trglang="English" sysid="sample_system">
        <doc docid="doc1" genre="nw">
            <p>
                <seg id="1">Going to play basketball this afternoon ?seg>
            p>
        doc>
    tstset>
mteval>

　　ref.xml:

xml version="1.0" encoding="utf-8"?>
DOCTYPE mteval SYSTEM "ftp://jaguar.ncsl.nist.gov/mt/resources/mteval-xml-v1.3.dtd">
<mteval>
    <refset setid="example_set" srclang="Arabic" trglang="English" refid="ref1">
        <doc docid="doc1" genre="nw">
            <p>
                <seg id="1">Going to play basketball in the afternoon ?seg>
            p>
        doc>
    refset>
mteval>

　　运行命令：

机器翻译评测——BLEU改进后的NIST算法

　　得到的bleu值和我们之前计算的bleu值是一致的。成功~

　　然后我在后续计算的过程中，发现了nist脚本中的BLEU计算的时候，会把xml中的符号例如“左括号”他会转移为&＃40; 进行计算。而&＃40;就是左括号的标准转义字符，只不过这里计算的时候刚好给相反了，有点让人想不通。。

　　最后附上转换xml的脚本，因为之前BLEU计算的时候，不需要xml格式的，因此写了一个批量转化的脚本：

#!/usr/bin/python
#coding=utf8

import sys
import re
import codecs
import os
from xml.etree.ElementTree import ElementTree as etree
from xml.etree.ElementTree import Element, SubElement, ElementTree

reload(sys)
sys.setdefaultencoding( "utf-8" )


# 传入至少5个参数
# 生成译文的xml
# param 1: 要处理的是什么文件，只允许传入 "src","tst","ref"
# param 2：评测集名称
# param 3：源语言
# param 4：目标语言
# param 5..：要处理的文件

# 例如
# 生成原文 
# python genXML.py src tmq30 English Chinese tmq30.txt
# 生成译文
# python genXML.py tst tmq English Chinese baidu.txt Google.txt
# 生成ref 
# python genXML.py ref tmq English Chinese ref.txt ref2.txt 


'''
@ 生成ref的xml
@ param 1: 多份ref的list，list中每一个元素为一个ref的list
@ param 2：评测集名称
@ param 3：源语言
@ param 3：目标语言
'''
def genrefxml(reflists, setid, srclang, trglang):
    mteval = Element('mteval')
    for reflist in reflists:
        sysid = reflist[0]
        set = SubElement(mteval, "refset")
        set.attrib = {"setid":setid, "srclang":srclang, "trglang":trglang, "refid":sysid}
        doc = SubElement(set, "doc")
        doc.attrib = {"docid":"doc1"}
    
        i = 0
        for sentence in reflist:
            # 第一位存储具体是哪个引擎
            if i != 0:

                p = SubElement(doc, "p")
                seg = SubElement(p, "seg")
                seg.attrib = {"id":str(i)}
                seg.text = sentence
            i = i+1
    tree = ElementTree(mteval)
    tree.write(setid+'_ref.xml', encoding = 'utf-8')


'''
@ 生成译文的xml
@ param 1: 多份译文的list，list中每一个元素为一个译文的list
@ param 2：评测集名称
@ param 3：源语言
@ param 3：目标语言
'''
def gentstxml(tstlists, setid, srclang, trglang):
    mteval = Element('mteval')
    for tstlist in tstlists:
        sysid = tstlist[0]
        set = SubElement(mteval, "tstset")
        set.attrib = {"setid":setid, "srclang":srclang, "trglang":trglang, "sysid":sysid}
        doc = SubElement(set, "doc")
        doc.attrib = {"docid":"doc1"}
    
        i = 0
        for sentence in tstlist:
            # 第一位存储具体是哪个引擎
            if i != 0:

                p = SubElement(doc, "p")
                seg = SubElement(p, "seg")
                seg.attrib = {"id":str(i)}
                seg.text = sentence
            i = i+1
    tree = ElementTree(mteval)
    tree.write(setid+'_tst.xml', encoding = 'utf-8')


'''
@ 生成原文的xml
@ param 1: 原文内容的list
@ param 2：评测集名称
@ param 3：源语言
'''
def gensrcxml(senlist, setid, srclang):
    mteval = Element('mteval')
    set = SubElement(mteval, "srcset")
    set.attrib = {"setid":setid, "srclang":srclang}
    doc = SubElement(set, "doc")
    doc.attrib = {"docid":"doc1"}
    
    i = 1
    for sentence in senlist:
        p = SubElement(doc, "p")
        seg = SubElement(p, "seg")
        seg.attrib = {"id":str(i)}
        seg.text = sentence
        i = i+1
    tree = ElementTree(mteval)
    tree.write(setid+'_src.xml', encoding = 'utf-8')


# 调用具体的生成xml
def genxmltree(filetype, setid, srclang, trglang, files):
    if filetype not in ["src","tst","ref"]:
        print "filetype is error"
        return
    
    # 处理原文
    if filetype == "src":
        srclist = []
        for line in open(files[0]):
            line = line.strip()
            if line:
                srclist.append(line)
        gensrcxml(srclist, setid, srclang)

    # 处理译文
    if filetype == "tst":
        tstslist = []
        for tstfile in files:
            tstlist =[]
            tstlist.append(str(tstfile).strip('.txt'))
            for line in open(tstfile):
                line = line.strip()
                if line:
                    tstlist.append(line)
            tstslist.append(tstlist)
        gentstxml(tstslist, setid, srclang, trglang)

    # 处理ref
    if filetype == "ref":
        reflists = []
        for reffile in files:
            reflist =[]
            reflist.append(str(reffile).strip('.txt'))
            for line in open(reffile):
                line = line.strip()
                if line:
                    reflist.append(line)
            reflists.append(reflist)
        genrefxml(reflists, setid, srclang, trglang)


argv_len = len(sys.argv)
#print argv_len
if argv_len <6:
    print "param error! src/ref tmq English Chinese 1.txt " 
    sys.exit()

filetype = sys.argv[1]
setid = sys.argv[2]
srclang = sys.argv[3]
trglang = sys.argv[4]
files = []
for i in range(5, len(sys.argv)):
    files.append(sys.argv[i])

genxmltree(filetype, setid, srclang, trglang, files)

文中nist算法参考论文《Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics 》

推荐阅读

string
Android实用方法汇总

本文总结了几个常用的Android开发技巧，包括检测设备上是否安装特定应用、获取应用的版本名称、设置状态栏透明以及如何从一个应用跳转至另一个应用的方法。 ... [详细]

蜡笔小新 2024-11-28 17:32:27
require
解决 ClickOnce 部署时自动更新功能失效的问题

本文探讨了在使用 ClickOnce 部署方式时遇到的自动更新失败问题，包括本地安装与服务器安装的不同表现，并提供了详细的解决方案。 ... [详细]

蜡笔小新 2024-11-28 17:00:42
client
深入理解SAP Fiori及其核心概念

本文详细介绍了SAP Fiori的基本概念、发展历程、核心特性、应用类型、运行环境以及开发工具等，旨在帮助读者全面了解SAP Fiori的技术框架和应用场景。 ... [详细]

蜡笔小新 2024-11-28 22:05:47
string
Linux环境下的PHP7安装与配置指南

本文详细介绍了如何在Linux操作系统中安装和配置PHP7，包括检查当前PHP版本、升级PHP以及配置MySQL支持等步骤，适合后端开发者参考。 ... [详细]

蜡笔小新 2024-11-28 19:14:15
client
Apollo入门指南

Apollo是一个分布式配置中心，由服务端和客户端组成，支持配置的集中管理和动态更新。 ... [详细]

蜡笔小新 2024-11-28 19:02:31
request
深入探讨：从代码到Kubernetes部署的微服务实践——网关篇

本文详细介绍了如何利用go-zero框架从需求分析到最终部署至Kubernetes的全过程，特别聚焦于微服务架构中的网关设计与实现。项目采用了go-zero及其生态组件，涵盖了从API设计到RPC调用，再到生产环境下的监控与维护等多方面内容。 ... [详细]

蜡笔小新 2024-11-28 17:56:12
request
深入解析Android UI布局：LinearLayout与AbsoluteLayout

本文探讨了Android开发中常用的两种布局方式——LinearLayout和AbsoluteLayout，通过实例分析它们的特点及应用场景。 ... [详细]

蜡笔小新 2024-11-28 17:39:36
string
Android 示例代码：实现网页信息抓取与图片下载

本文提供了一个Android应用中用于抓取网页信息并下载图片的示例代码。通过该代码，开发者可以轻松实现从指定URL获取网页内容及其中的图片资源。 ... [详细]

蜡笔小新 2024-11-28 17:04:36
string
hibernate报错

这个报错出现在userDao里面，sessionfactory没有注入。解决办法：spring整合Hibernate使用test测试时要把spring.xml和spring-hib ... [详细]

蜡笔小新 2024-11-28 16:52:44
request
提升接口测试效率的关键：用例与工具的综合应用

本文将探讨如何通过有效的接口测试用例设计和工具选择，显著提高接口测试的效率和质量。 ... [详细]

蜡笔小新 2024-11-28 16:45:22
get
VSCode中实现大型项目函数跳转的方法

在处理大型代码项目时，简单的C/C++插件往往无法满足需求。本文介绍如何通过配置GNU Global等工具，在VSCode中实现高效的函数跳转。 ... [详细]

蜡笔小新 2024-11-28 14:01:47
request
C#爬虫Fiddler插件开发自动生成代码

哈喽^_^一般我们在编写网页爬虫的时候经常会使用到Fiddler这个工具来分析http包,而且通常并不是分析一个包就够了的,所以为了把更多的时间放在分析http包上,自动化生成 ... [详细]

蜡笔小新 2024-11-28 13:39:49
string
20145209刘一阳《JAVA程序设计》第三周课堂测试

第三周课堂测试1、使用汇编语言编写指令时，用一些简单的容易记忆的符号来代替二进制指令，比机器语言更为方便，属于高级语言。（B ... [详细]

蜡笔小新 2024-11-28 13:02:41
dll
PHP网站部署指南：从零开始搭建PHP网站

本文提供了详细的步骤指导，帮助开发者在不同环境下成功部署PHP网站，包括在IIS和Apache服务器上的具体操作。 ... [详细]

蜡笔小新 2024-11-28 11:23:57
string
PHP 5.4.8 编译安装指南

本文详细介绍了如何在Linux环境下编译安装PHP 5.4.8，并配置为FastCGI模式运行。包括所需依赖包的安装、源代码下载、编译配置及启动服务等步骤。 ... [详细]

蜡笔小新 2024-11-28 10:19:51

手机用户2502856573

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章