词向量:让文字语义可量化
前言
折腾搜索相关的功能,有感记录,想让程序判断"爬虫"和"蜘蛛"意思相近、"爬虫"和"火锅"不相干,这种事对人 trivial 到不值一提,对程序却是要命的原生问题。翻了些资料,发现这个问题的答案就是NLP的第一块基石:词向量。
从一个尴尬说起
计算机表示一个词最原始的办法是one-hot编码:词表里有五万个词,就造一个五万维的向量,这个词所在的位置填1,其他全是0。这样做有两个要命的问题:
折腾搜索相关的功能,有感记录,想让程序判断"爬虫"和"蜘蛛"意思相近、"爬虫"和"火锅"不相干,这种事对人 trivial 到不值一提,对程序却是要命的原生问题。翻了些资料,发现这个问题的答案就是NLP的第一块基石:词向量。
计算机表示一个词最原始的办法是one-hot编码:词表里有五万个词,就造一个五万维的向量,这个词所在的位置填1,其他全是0。这样做有两个要命的问题: