ITeye博客

java

共 1 篇文章

JAVA代码之余弦相似度

余弦相似度基本思路是 :如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。 第一步,预处理主要是进行中文分词和去停用词,分词。 第二步,列出所有的词。 第三步,计算词频。 第四步,写出词频向量。 余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。 余弦相似度缺陷 这类算法没有很好地解决文本数据中存在的自然语言问题,即同义词和多义词。这样对于搜索的精度产生很大的影响。 衡量文本相似度的几种手段: (1)最长公共子串(基于词条空间) (2)最长公共子序列(基于权值空间、词条空间) (3)最少编辑距离法(基于词条空间) (4…

2017-01-04 11:20 · java