自动问答

最近又看了一看自然语言的东西 ，然后想做一个类似于自动问答的东西。然后做了一个简单的。还蛮有意思。这里总结一下怎么做。

1. 首先，你需要语料，这个不容易找到。https://pinyin.sogou.com/dict/ 。搜狗输入法有词库，可以试用一下。关于自动问答，你首先是需要问题，或者问题的关键字词，还需要问题的答案。

2.其次，需要做一些自然语言处理的工作，分词，文本向量化，计算dtm矩阵活着diidf矩阵。

3.最后，使用你想使用的机器学习模型

我找了一些数学领域的语料，然后机器就可以给我找答案了就是这样：

QA("我想知道万有泰希米勒空间")
[1] "你需要的回答是： 泰希米勒空间，是指黎曼曲面复结构的形变所组成的空间。理论主要是用拟共形映射为工具来研究黎曼曲面的模问题，这种研究与克莱因群以及低维拓扑问题有一定的联系"
QA("维球是什么意思")
[1] "你需要的回答是： 超球面，也称n维球面，是普通的球面在任意维度的推广。"


代码如下：

QA=function(question){
#首先创建语料库
library(text2vec)
it = itoken(as.character(math_sample$V1),
tokenizer = word_tokenizer)
# Creates a vocabulary of unique terms
v = create_vocabulary(it)
#remove very common and uncommon words
#这个功能可以过滤输入词汇，并抛出非常频繁且非常罕见的词汇。
pruned_vocab = prune_vocabulary(v, term_count_min = 1,
doc_proportion_max = 0.5, doc_proportion_min = 0.001)
#该函数创建一个文本向量化函数，用于构建一个dtm / tcm /语料库。
vectorizer = vocab_vectorizer(pruned_vocab)
# 创建语料数据的dtm
it = itoken(as.character(math_sample$V1), preprocess_function = tolower,
tokenizer = word_tokenizer)
#Document-term matrix construction
dtm_raw = create_dtm(it, vectorizer)
# 创建问题的dtm
it = itoken(question, preprocess_function = tolower,
tokenizer = word_tokenizer)
#Document-term matrix construction
dtm_question = create_dtm(it, vectorizer)
# 找到最相近的问题
n=which(as.matrix(sim2(dtm_raw,dtm_question))==max(sim2(dtm_raw,dtm_question)))
print(paste("你需要的回答是：",math_sample$V2[n]))
}
QA("万有泰希米勒空间是什么意思")
[1] "你需要的回答是： 泰希米勒空间，是指黎曼曲面复结构的形变所组成的空间。理论主要是用拟共形映射为工具来研究黎曼曲面的模问题，这种研究与克莱因群以及低维拓扑问题有一定的联系"