sqlserver全文索引的原理

建立全文索引中有兩項(xiàng)非常重要，一個(gè)是如何對(duì)文本進(jìn)行分詞，一是建立索引的數(shù)據(jù)結(jié)構(gòu)。分詞的方法基本上是二元分詞法、最大匹配法和統(tǒng)計(jì)方法。索引的數(shù)據(jù)結(jié)構(gòu)基本上采用倒排索引的結(jié)構(gòu)。

在高陵等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專(zhuān)注、極致的服務(wù)理念，為客戶(hù)提供成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需定制制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計(jì),成都營(yíng)銷(xiāo)網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站制作,高陵網(wǎng)站建設(shè)費(fèi)用合理。

分詞的好壞關(guān)系到查詢(xún)的準(zhǔn)確程度和生成的索引的大小。在中文分詞發(fā)展中，早期經(jīng)常使用分詞方式是二元分詞法，該方法的基本原理是將包含中文的句子進(jìn)行二元分割，不考慮單詞含義，只對(duì)二元單詞進(jìn)行索引。因此該方法所分出的單詞數(shù)量較多，從而產(chǎn)生的索引數(shù)量巨大，查詢(xún)中會(huì)將無(wú)用的數(shù)據(jù)檢索出來(lái)，好處是算法簡(jiǎn)單不會(huì)漏掉檢索的數(shù)據(jù)。之后又發(fā)展出最大匹配分詞方法，該方法又分為正向最大分詞和逆向最大分詞。其原理和查字典類(lèi)似，對(duì)常用單詞生成一個(gè)詞典，分析句子的過(guò)程中最大的匹配字典中的單詞，從而將句子拆分為有意義的單詞鏈。最大匹配法中正向分詞方法對(duì)偏正式詞語(yǔ)的分辨容易產(chǎn)生錯(cuò)誤，比如“首飾和服裝”會(huì)將“和服”作為單詞分出。達(dá)夢(mèng)數(shù)據(jù)庫(kù)采用的是改進(jìn)的逆向最大分詞方法，該分詞方法較正向正確率有所提高。最為復(fù)雜的是通過(guò)統(tǒng)計(jì)方式進(jìn)行分詞的方法。該方法采用隱式馬爾科夫鏈，也就是后一個(gè)單詞出現(xiàn)的概率依靠于前一個(gè)單詞出現(xiàn)的概率，最后統(tǒng)計(jì)所有單詞出現(xiàn)的概率的最大為分詞的依據(jù)。這個(gè)方法對(duì)新名詞和地名的識(shí)別要遠(yuǎn)遠(yuǎn)高于最大匹配法，準(zhǔn)確度隨著取樣文本的數(shù)量的增大而提高。

二元分詞方法和統(tǒng)計(jì)方法是不依賴(lài)于詞典的，而最大匹配法分詞方法是依賴(lài)于詞典的，詞典的內(nèi)容決定分詞結(jié)構(gòu)的好壞。

全文檢索的索引被稱(chēng)為倒排索引，之所以成為倒排索引，是因?yàn)閷⒚恳粋€(gè)單詞作為索引項(xiàng)，根據(jù)該索引項(xiàng)查找包含該單詞的文本。因此，索引都是單詞和唯一記錄文本的標(biāo)示是一對(duì)多的關(guān)系。將索引單詞排序，根據(jù)排序后的單詞定位包含該單詞的文本。

步驟1）讀取一整條句子到變量str中，轉(zhuǎn)到步驟2

步驟2）從句子的尾端讀取1個(gè)字到變量word中，轉(zhuǎn)到步驟3

步驟3）在字典查找word中保存的單詞。如果存在則保存word，轉(zhuǎn)到步驟4，否則轉(zhuǎn)到步驟5）

步驟4）如果是字典中最大單詞或者超過(guò)最大單詞數(shù)（認(rèn)定為新詞），從句尾去掉該單詞，返回步驟2

步驟5）讀取前一個(gè)字到word中，構(gòu)成新單詞，轉(zhuǎn)到步驟3）

詞庫(kù)的內(nèi)存數(shù)據(jù)結(jié)構(gòu)和詞庫(kù)中單詞的匹配算法

內(nèi)存中單詞采用層次結(jié)構(gòu)保存

假設(shè)字典中有如下的單詞：中國(guó) 中華民國(guó) 國(guó)家 人民 民主

在內(nèi)存中按照如下方式按層排列，其中每一個(gè)方塊代表一個(gè)字，箭頭所指向?yàn)樵搯卧~的前一個(gè)字

為什么說(shuō)SQLServer全文索引有局限性

下面假設(shè)有這樣一個(gè)例子：在DataBase_name。dbo。Table_name中有一個(gè)名為T(mén)itle(標(biāo)題)和Contents(內(nèi)容)的字段，現(xiàn)在需要查詢(xún)?cè)赥itle或者Contents中包括“qq”字符的所有記錄。 面對(duì)這樣的一個(gè)場(chǎng)景，我們通常都會(huì)寫(xiě)這樣一個(gè)腳本：SELECT * FROM DataBase_name。

dbo。Table_name WHERE Title LIKE '%qq%' OR Contents LIKE '%qq%'; 沒(méi)錯(cuò)，這也是我第一個(gè)想到的方法。但是我們需要思考的是：隨著時(shí)間的推移，數(shù)據(jù)會(huì)越來(lái)越大，那個(gè)時(shí)候我們?cè)撊绾翁岣呶覀兊男阅?用戶(hù)隨時(shí)都有可能再添加對(duì)Remark(備注)字段進(jìn)行查找，難道我們就應(yīng)該不厭其煩地修改程序代碼? 需要指出的是：面對(duì)這樣的查詢(xún)條件，即使Title和Contents上都有索引，我們也無(wú)法使用到索引，因?yàn)樵?'%qq%'的“qq”前面使用了通配符，所以無(wú)法使用到索引;如果查詢(xún)的條件是'qq%'，那到是可以利用上索引。

在許多數(shù)據(jù)庫(kù)性能調(diào)優(yōu)的文章上都說(shuō)OR這個(gè)謂詞可以使用SELECT UNION ALL SELECT這樣的方式來(lái)提高性能，但是需要提醒大家的是：如果在一條記錄中字段Title和Contents都同時(shí)存在“中國(guó)”字符的話，那么返回的結(jié)果就會(huì)出現(xiàn)兩條相同的記錄，如果你希望是唯一的記錄，那么這個(gè)時(shí)候你就要注意了。

現(xiàn)在回到我們上面的問(wèn)題，大概這個(gè)時(shí)候大家都應(yīng)該想到了數(shù)據(jù)庫(kù)的全文索引了。全文索引是一種特殊類(lèi)型的基于標(biāo)記的功能性索引，由 Microsoft SQL Server 全文引擎 (MSFTESQL) 服務(wù)創(chuàng)建和維護(hù)。創(chuàng)建全文索引的過(guò)程與創(chuàng)建其他類(lèi)型的索引的過(guò)程差別很大。

MSFTESQL 不是基于某一特定行中存儲(chǔ)的值來(lái)構(gòu)造 B 樹(shù)結(jié)構(gòu)，而是基于要索引的文本中的各個(gè)標(biāo)記來(lái)創(chuàng)建倒排、堆積且壓縮的索引結(jié)構(gòu)。(摘自MSDN) 為什么說(shuō)SQL Server 全文索引不是萬(wàn)能的?可能大家都懷疑我是不是標(biāo)題黨了，呵呵，馬上就講到，那就是這個(gè)全文索引能解決我們一開(kāi)始提到的場(chǎng)景嗎?回答是否定。

為什么呢?因?yàn)樗姆衷~和倒排索引造成了對(duì)字符串“tqq。tencent。com”這樣的內(nèi)容進(jìn)行‘“*qq*”’這樣的條件查詢(xún)，上面那條記錄是不會(huì)被返回的。它的分詞應(yīng)該是正向最大值的分詞方法，它沒(méi)有對(duì)方向再進(jìn)行一次分詞和索引，索引無(wú)法查詢(xún)到。這個(gè)可能會(huì)被大家所忽略掉的。

sqlserver有自帶的全文檢索？

有自帶的全文檢索，主要功能是在指定列上創(chuàng)建全文檢索索引，然后可以基于關(guān)鍵字查詢(xún)?cè)摿袃?nèi)容。

在where語(yǔ)句后面用CONTAINS(列名,value)這個(gè)函數(shù)就可以，沒(méi)有索引的話應(yīng)該就是掃描的方式執(zhí)行。

sqlserver的全文索引如何能夠?qū)崟r(shí)更新rt

一般情況，使用SQL Server中的全文索引，經(jīng)過(guò)大體4個(gè)步驟：

1). 安裝full text search全文索引服務(wù)；

2). 為數(shù)據(jù)表建立full text catalog全文索引目錄；

3). 進(jìn)行full text catalog的population操作（使全文索引與數(shù)據(jù)表內(nèi)容同步)；

4). 使用全文索引進(jìn)行查詢(xún)。

為了在數(shù)據(jù)表內(nèi)容更新時(shí)全文索引數(shù)據(jù)庫(kù)的內(nèi)容也保持最新，可以通過(guò)第5步建立full text catalog 的Population自動(dòng)操作Schedule.

當(dāng)前標(biāo)題：sqlserver全文,sqlserver筆記
標(biāo)題來(lái)源：http://chinadenli.net/article16/dsispgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、云服務(wù)器、定制網(wǎng)站、自適應(yīng)網(wǎng)站、網(wǎng)站制作、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)