word2vec注意事项

Hierarchical Softmax是一种对输出层进行优化的策略&＃xff0c;输出层从原始模型的利用softmax计算概率值改为了利用Huffman树计算概率值。一开始我们可以用以词表中的全部词作为叶子节点&＃xff0c;词频作为节点的权&＃xff0c;构建Huffman树&＃xff0c;作为输出。从根节点出发&＃xff0c;到达指定叶子节点的路径是的。Hierarchical Softmax正是利用这条路径来计算指定词的概率&＃xff0c;而非用softmax来计算。 

即Hierarchical Softmax&＃xff1a;把 N 分类问题变成 log(N)次二分类

降采样

对于语料中的高频词&＃xff0c;Mikolov选择对它们进行降采样&＃xff08;sub-samplig&＃xff09;&＃xff0c;我认为高频词在语料中的出现次数比较多&＃xff0c;而且高频词一般而言都不是决定附近词语的词&＃xff0c;比如“的”这种停用词。所以对高频词进行降采样既不影响模型效果&＃xff0c;又能提升收敛速度&＃xff0c;何乐而不为呢&＃xff1f;