網(wǎng)站的收錄是由空間、網(wǎng)站、內容、抓取量、頁面質量決定的。
搜索引擎蜘蛛爬行的過程是這樣的，首先檢測網(wǎng)站的Robots.txt文件，確定哪些內容禁止抓取，哪些內容允許抓取等信息，確定robots.txt允許爬取之后，進入我們網(wǎng)站的首頁，然后通過首頁的鏈接爬取到我們網(wǎng)站中的內容頁或者欄目頁，之后再通過欄目頁到達我們的文章頁。
既然已經(jīng)知道了搜索引擎抓取我們網(wǎng)站的流程，那么我們接下來就要為您分析影響搜索引擎抓取的因素了，首先：

1、網(wǎng)站速度的影響
機房問題、dns問題、cdn加速問題、服務器帶寬、服務器硬件、操作系統(tǒng)、服務器軟件以及服務器所安裝的程序，這些都有可能影響我們網(wǎng)站的打開的速度。
2、nofollow標簽的合理使用
nofollow是一個HTML標簽的屬性值。這個標簽的意義是告訴搜索引擎”不要追蹤此網(wǎng)頁上的鏈接”或”不要追蹤此特定鏈接。那么我們所要做的就是，用nofollow來屏蔽掉網(wǎng)站頁面重復出現(xiàn)的鏈接以及對SEO沒有很高價值的頁面，以減少網(wǎng)站權重的分散，并且可以減少搜索引擎重復抓取網(wǎng)站內每個頁面的重復鏈接，以提高搜索引擎抓取效率。
3、網(wǎng)站硬盤問題
如在服務器里面安裝多個虛擬機，導致硬盤轉速變慢，有時會導致搜索引擎打不開網(wǎng)站。
4、返回碼問題
比如同一個鏈接返回不同的返回碼，又或者404頁面返回200等
5、安全軟件問題
比如開啟了防火墻規(guī)則、屏蔽了網(wǎng)站端口、開啟防采集規(guī)則、開啟防攻擊規(guī)則等，導致了搜索引擎同一時間由于大量訪問網(wǎng)站，而導致被安全軟件攔截。

網(wǎng)站名稱：深圳網(wǎng)站的頁面總是重復收錄是什么原因？
網(wǎng)頁URL：http://chinadenli.net/news/150751.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、品牌網(wǎng)站建設、企業(yè)建站、外貿建站、定制網(wǎng)站、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)