分类 机器学习 下的文章

前言

折腾搜索相关的功能,有感记录,想让程序判断"爬虫"和"蜘蛛"意思相近、"爬虫"和"火锅"不相干,这种事对人 trivial 到不值一提,对程序却是要命的原生问题。翻了些资料,发现这个问题的答案就是NLP的第一块基石:词向量。

从一个尴尬说起

计算机表示一个词最原始的办法是one-hot编码:词表里有五万个词,就造一个五万维的向量,这个词所在的位置填1,其他全是0。这样做有两个要命的问题:

- 阅读剩余部分 -