分类搜索下的文章

前言

接着上一篇的坑往下填。Word2Vec训练完，"苹果"在库里就只有一副面孔的向量，可是"苹果发布了新手机"和"下午吃了个苹果"里的苹果分明是两个物种。这个一词多义的问题，静态词向量从原理上就无解，于是有了这一篇的上下文词向量。

把上一代方案的局限摆清楚，才知道后面的人都在补什么：

折腾搜索相关的功能，有感记录，想让程序判断"爬虫"和"蜘蛛"意思相近、"爬虫"和"火锅"不相干，这种事对人 trivial 到不值一提，对程序却是要命的原生问题。翻了些资料，发现这个问题的答案就是NLP的第一块基石：词向量。

计算机表示一个词最原始的办法是one-hot编码：词表里有五万个词，就造一个五万维的向量，这个词所在的位置填1，其他全是0。这样做有两个要命的问题：