創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)公司主要業(yè)務(wù)有網(wǎng)站營銷策劃、網(wǎng)站制作、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、微信小程序開發(fā)、HTML5、程序開發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當(dāng)客戶，還把客戶視為我們的合作伙伴，在開展業(yè)務(wù)的過程中，公司還積累了豐富的行業(yè)經(jīng)驗(yàn)、網(wǎng)絡(luò)營銷推廣資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。 

虛擬主機(jī)如何禁止蜘蛛訪問？很多新手對此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

虛擬主機(jī)組織蜘蛛訪問，可以使用robots協(xié)議來實(shí)現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。

我們在管理虛擬主機(jī)時(shí)，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內(nèi)容，這時(shí)，我們需要編寫一個(gè)爬蟲協(xié)議，禁止搜索引擎來抓取數(shù)據(jù)。或者是禁止部分搜索引擎爬蟲來訪，而允許其他搜索引擎。都是可以通過robots文件實(shí)現(xiàn)。

當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

虛擬主機(jī)阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時(shí)，可以如下編寫：

User-agent: *
Disallow: /

虛擬主機(jī)阻止某個(gè)蜘蛛訪問時(shí)，可以如下編寫：

User-agent: xxxspider
Disallow:/

虛擬主機(jī)阻止某個(gè)目錄被蜘蛛訪問時(shí)，可以如下編寫：

User-agent: *

Disallow: /admin/

即表示/admin/目錄，所有搜索引擎都不得來訪問。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

網(wǎng)站題目：虛擬主機(jī)如何禁止蜘蛛訪問-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://chinadenli.net/article20/gcejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、域名注冊、用戶體驗(yàn)、移動(dòng)網(wǎng)站建設(shè)、App開發(fā)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)