今天就跟大家聊聊有關(guān)使用Python怎么過濾相似的文本，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)建站主營任縣網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā),任縣h5微信小程序開發(fā)搭建,任縣網(wǎng)站營銷推廣歡迎任縣等地區(qū)企業(yè)咨詢

titles = [
 "End of Year Review 2020",
 "2020 End of Year",
 "January Sales Projections",
 "Accounts 2017-2018",
 "Jan Sales Predictions"
]

# Desired output
filtered_titles = [
 "End of Year Review 2020",
 "January Sales Projections",
 "Accounts 2017-2018",
]

根據(jù)以上的問題，本文適合那些希望快速而實(shí)用地概述如何解決這樣的問題并廣泛了解他們同時(shí)在做什么的人!

接下來，我將介紹我為解決這個(gè)問題所采取的不同步驟。下面是控制流的概要:

預(yù)處理所有標(biāo)題文本

生成所有標(biāo)題成對

測試所有對的相似性

如果一對文本未能通過相似性測試，則刪除其中一個(gè)文本并創(chuàng)建一個(gè)新的文本列表

繼續(xù)測試這個(gè)新的相似的文本列表，直到?jīng)]有類似的文本留下

用Python表示，這可以很好地映射到遞歸函數(shù)上!

代碼

下面是Python中實(shí)現(xiàn)此功能的兩個(gè)函數(shù)。

import spacy
from itertools import combinations


# Set globals
nlp = spacy.load("en_core_web_md")

def pre_process(titles):
 """
 Pre-processes titles by removing stopwords and lemmatizing text.
 :param titles: list of strings, contains target titles,.
 :return: preprocessed_title_docs, list containing pre-processed titles.
 """

 # Preprocess all the titles
 title_docs = [nlp(x) for x in titles]
 preprocessed_title_docs = []
 lemmatized_tokens = []
 for title_doc in title_docs:
  for token in title_doc:
   if not token.is_stop:
    lemmatized_tokens.append(token.lemma_)
  preprocessed_title_docs.append(" ".join(lemmatized_tokens))
  del lemmatized_tokens[
   :
   ] # empty the lemmatized tokens list as the code moves onto a new title

 return preprocessed_title_docs

def similarity_filter(titles):
 """
 Recursively check if titles pass a similarity filter.
 :param titles: list of strings, contains titles.
 If the function finds titles that fail the similarity test, the above param will be the function output.
 :return: this method upon itself unless there are no similar titles; in that case the feed that was passed
 in is returned.
 """

 # Preprocess titles
 preprocessed_title_docs = pre_process(titles)

 # Remove similar titles
 all_summary_pairs = list(combinations(preprocessed_title_docs, 2))
 similar_titles = []
 for pair in all_summary_pairs:
  title1 = nlp(pair[0])
  title2 = nlp(pair[1])
  similarity = title1.similarity(title2)
  if similarity > 0.8:
   similar_titles.append(pair)

 titles_to_remove = []
 for a_title in similar_titles:
  # Get the index of the first title in the pair
  index_for_removal = preprocessed_title_docs.index(a_title[0])
  titles_to_remove.append(index_for_removal)

 # Get indices of similar titles and remove them
 similar_title_counts = set(titles_to_remove)
 similar_titles = [
  x[1] for x in enumerate(titles) if x[0] in similar_title_counts
 ]

 # Exit the recursion if there are no longer any similar titles
 if len(similar_title_counts) == 0:
  return titles

 # Continue the recursion if there are still titles to remove
 else:
  # Remove similar titles from the next input
  for title in similar_titles:
   idx = titles.index(title)
   titles.pop(idx)
   
  return similarity_filter(titles)

if __name__ == "__main__":
 your_title_list = ['title1', 'title2']
 similarty_filter(your_title_list)

第一個(gè)是預(yù)處理標(biāo)題文本的簡單函數(shù);它刪除像' the '， ' a '， ' and '這樣的停止詞，并只返回標(biāo)題中單詞的引理。

如果你在這個(gè)函數(shù)中輸入“End of Year Review 2020”，你會(huì)得到“end year review 2020”作為輸出;如果你輸入“January Sales Projections”，你會(huì)得到“january sale projection”。

它主要使用了python中非常容易使用的spacy庫.

第二個(gè)函數(shù)(第30行)為所有標(biāo)題創(chuàng)建配對，然后確定它們是否通過了余弦相似度測試。如果它沒有找到任何相似的標(biāo)題，那么它將輸出一個(gè)不相似標(biāo)題的列表。但如果它確實(shí)找到了相似的標(biāo)題，在刪除沒有通過相似度測試的配對后，它會(huì)將這些過濾后的標(biāo)題再次發(fā)送給它自己，并檢查是否還有相似的標(biāo)題。

這就是為什么它是遞歸的!簡單明了，這意味著函數(shù)將繼續(xù)檢查輸出，以真正確保在返回“最終”輸出之前沒有類似的標(biāo)題。

什么是余弦相似度?

但簡而言之，這就是spacy在幕后做的事情……

首先，還記得那些預(yù)處理過的工作嗎?首先，spacy把我們輸入的單詞變成了一個(gè)數(shù)字矩陣。

一旦它完成了，你就可以把這些數(shù)字變成向量，也就是說你可以把它們畫在圖上。

一旦你這樣做了，計(jì)算兩條直線夾角的余弦就能讓你知道它們是否指向相同的方向。

所以，在上圖中，想象一下，A線代表“閃亮的橙色水果”，B線代表“閃亮的紅蘋果是一種水果”。

在這種情況下，行A和行B都對應(yīng)于空格為這兩個(gè)句子創(chuàng)建的數(shù)字矩陣。這兩條線之間的角度——在上面的圖表中由希臘字母theta表示——是非常有用的!你可以計(jì)算余弦來判斷這兩條線是否指向同一個(gè)方向。

看完上述內(nèi)容，你們對使用Python怎么過濾相似的文本有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

分享標(biāo)題：使用Python怎么過濾相似的文本-創(chuàng)新互聯(lián)
URL鏈接：http://chinadenli.net/article18/hddgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、全網(wǎng)營銷推廣、自適應(yīng)網(wǎng)站、動(dòng)態(tài)網(wǎng)站、網(wǎng)站制作、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)