NLP问题与学习总结

pycharm 编辑器问题

中文乱码问题

1.控制台中文乱码

Anaconda问题

1数据源问题：得添加清华数据源。解决下载速度过慢问题。
2 anaconda 安装本地包的方法。

创建新环境并指定python版本

conda create -n 环境名称 python=3.8
activate 环境名称 //激活操作


Pip问题

pip安装指定版本

加上号即可
pip install transformers3.3.1

网速不稳定问题

一般是由于网速不稳定，下载过慢，超出默认时间，所以只要修改一下响应时间就好了。
方法如下:
windows下输入 pip --default-timeout=100 install 包名
linux下输入 pip --default-timeout=100 install -U 包名
pip命令提示unknow or unsupported command install解决方法
pip.exe install ** 即可解决

解决pip下载速度慢问题

添加国内镜像源：
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
临时使用国内镜像方法：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple XXX

永久修改，添加国内镜像
在 C:\Users\thinkpad\AppData\Roaming\pip\pip.ini 文件中添加：

或者使用命令行：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

Anaconda安装第三方包

step1：下载whl文件
step2：打开‘Anaconda Command Prompt
step3：命令行窗口pip安装 pip install 路径+whl文件名
torch-1.5.0+cpu-cp35-cp35m-win_amd64.whl //cp35代表python版本3.5

Torchtext：数据预处理

Torchtext处理数据分为三块：
1， Filed

Filed用来定义在text_field字段数据的操作与lable_field字段数据的操作
2，dataset

对data/train.tsv，val.tsv 中的数据对应text_field的字段和对应lable_field的字段施加Field定义的操作
3， 根据train_data（训练集）构建词库和标签库.并可构建了词库中的每一词到索引，索引到词向量的映射。

根据dataset中得到的集合创建迭代器，并指定迭代器中batch_Size.

问答系统构建

参考教程：基于电影知识图谱的智能问答系统 https://blog.csdn.net/appleyk/article/details/80331997

F1（micro & macro）评价指标

网址：https://blog.csdn.net/lyb3b3b/article/details/84819931