如何計(jì)算多個(gè)文本的相似度java程序,利用向量

也可以利用knn分類(lèi)器等分類(lèi)方法判斷相似與否，用deeplearning的話(huà)：短文本：拿word2vec開(kāi)始，然后上面套CNN（如果n-gram更重要），或者LSTM做短文本的embedding，然后算兩個(gè)文檔在embeddingspace里的相似度。

創(chuàng)新互聯(lián)公司主要從事成都網(wǎng)站制作、成都做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)達(dá)拉特,十年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):13518219792

首先，如果不局限于NN的方法，可以用BOW+tf-idf+LSI/LDA的體系搞定，也就是俗稱(chēng)的01或one hot representation。其次，如果樓主指定了必須用流行的NN，俗稱(chēng)word-embedding的方法，當(dāng)然首推word2vec（雖然不算是DNN）。

最簡(jiǎn)單的、最節(jié)省性能的方法是建立字典。 字典的索引就是字本身，遍歷字符串，沒(méi)遇到一個(gè)字就加入到字典中，加入的時(shí)候判斷下，如果索引存在則加1，不存在則創(chuàng)建，然后在取字典最大值，大于6就報(bào)錯(cuò)。

首先考慮如何令“文檔1中的每個(gè)詞以不同權(quán)重匹配到另一個(gè)文檔的所有詞上”。如下圖，很簡(jiǎn)單，我們?cè)试S“部分匹配”就可以了。

linux + thread + progress 這樣子可以通過(guò)java調(diào)用linux命令 linux中有一個(gè)comm -12命令來(lái)實(shí)現(xiàn)比較兩個(gè)文件的共同數(shù)據(jù)， 生成一個(gè)新文本。

因此對(duì)于一篇文檔我們可以用文檔中每個(gè)詞的TFIDF組成的向量來(lái)表示該文檔，再根據(jù)余弦相似度這類(lèi)的方法來(lái)計(jì)算文檔之間的相關(guān)性。

怎樣用python或者是java計(jì)算文本相似度

第一步：對(duì)用戶(hù)查詢(xún)進(jìn)行分詞。第二步：根據(jù)網(wǎng)頁(yè)庫(kù)（文檔）的數(shù)據(jù)，計(jì)算用戶(hù)查詢(xún)中每個(gè)詞的tf-idf 值。相似度的計(jì)算 使用余弦相似度來(lái)計(jì)算用戶(hù)查詢(xún)和每個(gè)網(wǎng)頁(yè)之間的夾角。夾角越小，越相似。

第一步，計(jì)算所有評(píng)論的tf-idf 值。第二步，使用所有評(píng)論的tf-idf 值算出商品描述的tf-idf 值。第三步，計(jì)算每一個(gè)評(píng)論和商品描述之間的tf-idf 余弦相似度。

1). Levenshtein.hamming(str1， str2)計(jì)算漢明距離。要求str1和str2必須長(zhǎng)度一致。是描述兩個(gè)等長(zhǎng)字串之間對(duì)應(yīng) 位置上不同字符的個(gè)數(shù)。2). Levenshtein.distance(str1， str2)計(jì)算編輯距離（也稱(chēng)為 Levenshtein距離）。

java如何實(shí)現(xiàn)超過(guò)10w條文本數(shù)據(jù)的相似度計(jì)算

最簡(jiǎn)單的、最節(jié)省性能的方法是建立字典。 字典的索引就是字本身，遍歷字符串，沒(méi)遇到一個(gè)字就加入到字典中，加入的時(shí)候判斷下，如果索引存在則加1，不存在則創(chuàng)建，然后在取字典最大值，大于6就報(bào)錯(cuò)。

第一步：對(duì)用戶(hù)查詢(xún)進(jìn)行分詞。第二步：根據(jù)網(wǎng)頁(yè)庫(kù)（文檔）的數(shù)據(jù)，計(jì)算用戶(hù)查詢(xún)中每個(gè)詞的tf-idf 值。相似度的計(jì)算 使用余弦相似度來(lái)計(jì)算用戶(hù)查詢(xún)和每個(gè)網(wǎng)頁(yè)之間的夾角。夾角越小，越相似。

這樣子可以通過(guò)java調(diào)用linux命令 linux中有一個(gè)comm -12命令來(lái)實(shí)現(xiàn)比較兩個(gè)文件的共同數(shù)據(jù)， 生成一個(gè)新文本。

新聞標(biāo)題：相似度計(jì)算java代碼 算法相似度
標(biāo)題鏈接：http://chinadenli.net/article6/dsjehig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、域名注冊(cè)、品牌網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司、網(wǎng)頁(yè)設(shè)計(jì)公司、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)