使用SRILM平滑Katz回退方法训练语言模型的步骤及困惑度计算

作者： | 来源：互联网 | 2023-12-13 16:46

本文介绍了使用SRILM平滑Katz回退方法训练语言模型的步骤，包括测试文件的使用、模型训练过程以及困惑度的重新计算。平滑Katz回退方法通过将次数较少的N-gram组的概率减少，并将减少的概率分配给训练集中未出现的N-gram组。详细的条件概率计算过程可参考附录中的Excel表格。通过重新计算困惑度，可以评估训练得到的语言模型的质量。

问题：考虑用下面的测试文件，测试上面的模型

cat test_coupus2.txt

birds chirp

ngram -lm corpus.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

使用catzs回退方法，进行模型训练
要旨：对于次数较少的N-gram组，将其概率减少，减少的概率分配给训练集中没出现的N-gram组。

ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm

概率计算公式为
这里写图片描述

条件概率计算过程详细见excel

这里写图片描述

重新计算困惑度

ngram -lm corpus_katz.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

推荐阅读

io
微信小程序开发指南：创建动态电影选座界面

本文详细介绍如何在微信小程序中实现一个动态且可视化的电影选座组件，提高用户体验。通过合理的布局和交互设计，使用户能够轻松选择心仪的座位。 ... [详细]

蜡笔小新 2024-11-19 15:36:11
copy
将datatable导出为excel的三种方式（转）

一、使用Microsoft.Office.Interop.Excel.DLL需要安装Office代码如下：2publicstaticboolExportExcel(S ... [详细]

蜡笔小新 2024-11-23 16:37:33
char
Excel技巧：单元格中显示公式而非结果的解决方法

本文探讨了在Excel中如何通过简单的方法解决单元格显示公式而非计算结果的问题，包括使用快捷键和调整单元格格式两种方法。 ... [详细]

蜡笔小新 2024-11-23 18:06:16
int
使用 Pyglet 加载和显示图像

本文介绍了如何使用 Python 的 Pyglet 库加载并显示图像。Pyglet 是一个用于开发图形用户界面应用的强大工具，特别适用于游戏和多媒体项目。 ... [详细]

蜡笔小新 2024-11-23 15:23:32
io
使用Python构建网页版图像编辑器

本文详细介绍了一款基于Python开发的网页版图像编辑工具，具备多种图像处理功能，如黑白转换、铅笔素描效果等。 ... [详细]

蜡笔小新 2024-11-23 13:14:41
copy
LaTeX高级应用技巧

本文分享了作者在使用LaTeX过程中的几点心得，涵盖了从文档编辑、代码高亮、图形绘制到3D模型展示等多个方面的内容。适合希望深入了解LaTeX高级功能的用户。 ... [详细]

蜡笔小新 2024-11-23 12:47:16
copy
MVC模式下的电子取证技术初探

本文探讨了在MVC（模型-视图-控制器）架构下进行电子取证的技术方法，通过实际案例分析，提供了详细的取证步骤和技术要点。 ... [详细]

蜡笔小新 2024-11-23 12:13:06
char
SSM框架实战：分页功能实现详解

本文详细介绍如何在SSM（Spring + Spring MVC + MyBatis）框架中实现分页功能。包括分页的基本概念、数据准备、前端分页栏的设计与实现、后端分页逻辑的编写以及最终的测试步骤。 ... [详细]

蜡笔小新 2024-11-23 11:40:33
char
Eclipse 开发环境配置指南：从下载到免安装配置

Eclipse 是一个广泛使用的开源Java开发环境，掌握其正确的安装与配置方法对于初学者至关重要。本文将详细介绍如何下载、安装及配置Eclipse，确保您的开发环境搭建顺利。 ... [详细]

蜡笔小新 2024-11-23 11:06:50
char
【MySQL】frm文件解析

官网说明：http:dev.mysql.comdocinternalsenfrm-file-format.htmlfrm是MySQL表结构定义文件，通常frm文件是不会损坏的，但是如果 ... [详细]

蜡笔小新 2024-11-23 10:29:06
callback
Python3爬虫入门：pyspider的基本使用[python爬虫入门]

Python学习网有大量免费的Python入门教程，欢迎大家来学习。本文主要通过爬取去哪儿网的旅游攻略来给大家介绍pyspid ... [详细]

蜡笔小新 2024-11-22 18:00:41
int
ASP.NET 进度条实现详解

本文介绍了如何在ASP.NET中使用HTML和JavaScript创建一个动态更新的进度条，并通过Default.aspx页面进行展示。 ... [详细]

蜡笔小新 2024-11-22 15:00:08
int
Zabbix自定义监控与邮件告警配置实践

本文详细介绍了如何在Zabbix中添加自定义监控项目，配置邮件告警功能，并解决测试告警时遇到的邮件不发送问题。 ... [详细]

蜡笔小新 2024-11-22 08:33:19
copy
5分钟快速筛选特定候选人的简历

介绍一个新的系列，专注于提供能在5分钟内完成的简单实用案例。本文将以办公中常见的需求为例，展示如何快速从大量简历中筛选出特定候选人的简历。 ... [详细]

蜡笔小新 2024-11-18 12:12:26
int
解决RStudio中火山图绘制问题

在RStudio中使用EnhancedVolcano包绘制火山图时遇到错误，本文提供详细的解决方案和调试建议。 ... [详细]

蜡笔小新 2024-11-18 05:19:00

Tags | 热门标签

RankList | 热门文章