当前位置: 开发笔记 > 后端 > 正文

算法工程师面试之OOV问题如何解决？

作者：mobiledu2502903113 | 来源：互联网 | 2023-06-09 17:27

1.OOV是什么？OOV问题是NLP中常见的一个问题，其全称是Out-Of-Vocabulary，下面简要的说了一下OOV：

1. `OOV` 是什么？

OOV 问题是NLP中常见的一个问题，其全称是Out-Of-Vocabulary，下面简要的说了一下OOV：
在这里插入图片描述

后来，我在其他论文中看到也有把其它类型的问题归为OOV的，我就很纳闷儿，难道OOV的定义都可以随便改的吗？有人是这么说的：

如果出现在test数据集中的词没有出现在train中，那么这就是一个oov

2. 怎么解决？

下面说一下 Bert 中是怎么解决OOV问题，如果一个单词不在词表中，则按照subword的方式逐个拆分token，如果连逐个token都找不到，则直接分配为[unknown]

推荐阅读

nlp
GPT-3发布，动动手指就能自动生成代码的神器来了！

近日，OpenAI发布了最新的NLP模型GPT-3，该模型在GitHub趋势榜上名列前茅。GPT-3使用的数据集容量达到45TB，参数个数高达1750亿，训练好的模型需要700G的硬盘空间来存储。一位开发者根据GPT-3模型上线了一个名为debuid的网站，用户只需用英语描述需求，前端代码就能自动生成。这个神奇的功能让许多程序员感到惊讶。去年，OpenAI在与世界冠军OG战队的表演赛中展示了他们的强化学习模型，在限定条件下以2:0完胜人类冠军。 ... [详细]

蜡笔小新 2023-12-11 11:04:43
pip
【疑难杂症】allennlp安装报错：Installing build dependencies ... error

背景：配置PURE的算法环境，安装allennlp0.9.0（pipinstallallennlp0.9.0）报错ÿ ... [详细]

蜡笔小新 2023-10-17 16:20:30
static
项目需求讨论后台返回的特殊JSON处理

在实际开发中，现在安卓端和后台之间的数据交互，一般都是用JSON来传递数据信息。JSON大家一般都比较熟悉。我这边就以实际项目中的后台传过来的情况和大家分析下及如何处理。比如后台返 ... [详细]

蜡笔小新 2024-09-30 20:59:48
api
PHPcURL获取微信公众号access_token的实例php实例

PHPcURL获取微信公众号access_token的实例php实例:这篇文章主要介绍了PHPcURL获取微信公众号access_token的实例,需要的朋友可以参考下1.开发微信 ... [详细]

蜡笔小新 2024-09-30 13:04:56
dns
这是一份详细 & 清晰的计算机网络基础学习指南

前言计算机网络基础该是程序猿需掌握的知识，但往往会被忽略今天，我将献上一份详细&清晰的计算机网络基础学习指南，涵盖TCPUDP协议、Http协议、Socket等，希望你们会喜欢。目 ... [详细]

蜡笔小新 2024-09-26 15:47:23
nlp
NLP | 一文完全搞懂序列标注算法

序列标注模型用到了长短期记忆网络（LSTM），条件随机场（CRF），Highway网络，本文循序渐进的介绍了序列标注算法，Bepatience!跟 ... [详细]

蜡笔小新 2024-09-25 18:37:30
go
学习SLAM的女生，很酷

本文介绍了学习SLAM的女生的故事，她们选择SLAM作为研究方向，面临各种学习挑战，但坚持不懈，最终获得成功。文章鼓励未来想走科研道路的女生勇敢追求自己的梦想，同时提到了一位正在英国攻读硕士学位的女生与SLAM结缘的经历。 ... [详细]

蜡笔小新 2023-12-14 17:55:18
go
【机器学习】生成式对抗网络模型综述

生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型，可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]

蜡笔小新 2023-12-14 17:51:18
go
深度学习中的Vision Transformer (ViT)详解

本文详细介绍了深度学习中的Vision Transformer (ViT)方法。首先介绍了相关工作和ViT的基本原理，包括图像块嵌入、可学习的嵌入、位置嵌入和Transformer编码器等。接着讨论了ViT的张量维度变化、归纳偏置与混合架构、微调及更高分辨率等方面。最后给出了实验结果和相关代码的链接。本文的研究表明，对于CV任务，直接应用纯Transformer架构于图像块序列是可行的，无需依赖于卷积网络。 ... [详细]

蜡笔小新 2023-12-12 15:26:38
go
干货 | 携程AI推理性能的自动化优化实践

作者简介携程度假AI研发团队致力于为携程旅游事业部提供丰富的AI技术产品，其中性能优化组为AI模型提供全方位的优化方案，提升推理性能降低成本࿰ ... [详细]

蜡笔小新 2023-10-16 14:03:03
nlp
软件测试工程师，需要达到什么水平才能顺利拿到 20k+ 无压力？

前言最近看到很多应届生晒offer,稍有名气点的公司给出的价格都是一年30多W或者月薪20几k,相比之下工作几年的自己薪资确实很寒酸.根据我自己找工作经历,二线城市一般小公司招聘 ... [详细]

蜡笔小新 2023-10-16 13:18:32
nlp
「爆干7天7夜」入门AI人工智能学习路线一条龙，真的不能再透彻了

前言应广大粉丝要求，今天迪迦来和大家讲解一下如何去入门人工智能，也算是迪迦对自己学习人工智能这么多年的一个总结吧，本条学习路线并不会那么 ... [详细]

蜡笔小新 2023-10-16 12:17:31
nlp
NLP如何进阶？你应该先掌握四大基本任务！

“语言理解是人工智能领域皇冠上的明珠。”——比尔盖茨自然语言处理是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂ÿ ... [详细]

蜡笔小新 2023-10-16 05:43:05
go
42VERSE & 圆圈徽章，Web3 社交的流派之争——针对两个国内案例的调研

01 行业分析本文所研究的细分赛道为：Web3应用层——社交与内容场景——DID/创新场景（以元宇宙3D空间为 ... [详细]

蜡笔小新 2024-09-29 12:10:23
go
vlfilecopy(findfile(vllist>string(10811110311146103105102)))(vll的简单介绍

本文目录一览：1、一段lisp代码求解释2、运 ... [详细]

蜡笔小新 2023-10-16 12:39:45