爬蟲質(zhì)量的點評規(guī)范
假如從查找引擎用戶體會的視點考慮，對爬蟲的工作效果有不同的點評規(guī)范，其中最首要的 3 個規(guī)范是：抓取網(wǎng)頁的覆蓋率、抓取網(wǎng)頁時新性及抓取網(wǎng)頁重要性。假如這 3 方面做得好，則查找引擎用戶體會必定好。

seo優(yōu)化公司
關(guān)于現(xiàn)有的查找引擎來說，還不存在哪個查找引擎有能力將互聯(lián)網(wǎng)上呈現(xiàn)的一切網(wǎng)頁都下載并樹立索引，一切查找引擎只能索引互聯(lián)網(wǎng)的一部分。而所謂的抓取覆蓋率指的是爬蟲抓取網(wǎng)頁的數(shù)量占互聯(lián)網(wǎng)一切網(wǎng)頁數(shù)量的份額，覆蓋率越高，等價于查找引擎的召回率越高，用戶體會越好。
索引網(wǎng)頁和互聯(lián)網(wǎng)網(wǎng)頁對比
抓取到本地的網(wǎng)頁，很有或許已經(jīng)發(fā)生變化，或者被刪除，或者內(nèi)容被更改，因為爬蟲抓取完一輪需求較長的時間周期，所以抓取到的網(wǎng)頁傍邊必然會有一部分是過期的數(shù)據(jù)，即不能在網(wǎng)頁變化后時間反應(yīng)到網(wǎng)頁庫中。所以網(wǎng)頁庫中過期的數(shù)據(jù)越少，則網(wǎng)頁的時新性越好，這對用戶體會的改善大有裨益。
假如時新性不好，查找到的都是過期數(shù)據(jù)，或者網(wǎng)頁被刪除，用戶的內(nèi)心感觸可想而知。
互聯(lián)網(wǎng)雖然網(wǎng)頁繁復(fù)，但是每個網(wǎng)頁的差異性都很大，比如來自騰訊、網(wǎng)易新聞的網(wǎng)頁和某個做弊網(wǎng)頁比較，其重要性猶如天壤之別。假如查找引擎抓取到的網(wǎng)頁大部分是比較重要的網(wǎng)頁，則能夠闡明在抓取網(wǎng)頁重要性方面做得比較好。這方面做的越好，則越闡明查找引擎的查找精度越高。
通過以上 3 個規(guī)范的闡明分析，能夠?qū)⑴老x研制的方針簡略描述如下：在資源有限的情況下，既然查找引擎只能抓取互聯(lián)網(wǎng)現(xiàn)存網(wǎng)頁的一部分，那么就盡或許給選擇比較重要的那部分頁面來索引；關(guān)于已經(jīng)抓取到的網(wǎng)頁，盡或許快的更新內(nèi)容，使得索引網(wǎng)頁和互聯(lián)網(wǎng)對應(yīng)頁面內(nèi)容同步更新；在此基礎(chǔ)上，盡或許擴展抓取范圍，抓取到更多曾經(jīng)無法發(fā)現(xiàn)的網(wǎng)頁。
3 個“盡或許”基本說清楚了爬蟲體系為增強用戶體會而奮斗的方針。
大型商業(yè)查找引擎為了滿意 3 個質(zhì)量規(guī)范，大都開發(fā)了多套針對性很強的爬蟲體系。以Google為例，至少包含兩套不同的爬蟲體系：一套被稱為Fresh Bot，首要考慮網(wǎng)頁的時新性，關(guān)于內(nèi)容更新頻頻的網(wǎng)頁，現(xiàn)在能夠到達以秒計的更新周期；另外一套被稱之為Deep Crawl Bot，首要針對更新不是那么頻頻的網(wǎng)頁抓取，以天為更新周期。

分享文章：seo優(yōu)化公司：搜索引擎爬蟲質(zhì)量的評價標準
URL標題：http://chinadenli.net/news17/90017.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、建站公司、品牌網(wǎng)站設(shè)計、動態(tài)網(wǎng)站、商城網(wǎng)站、標簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)