創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

成都創(chuàng)新互聯(lián)公司執(zhí)著的堅持網(wǎng)站建設，成都小程序開發(fā)；我們不會轉行，已經(jīng)持續(xù)穩(wěn)定運營十多年。專業(yè)的技術，豐富的成功經(jīng)驗和創(chuàng)作思維，提供一站式互聯(lián)網(wǎng)解決方案，以客戶的口碑塑造品牌，攜手廣大客戶，共同發(fā)展進步。

這篇文章給大家分享的是有關Python2爬蟲中URLError與HTTPError是什么意思的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

大家好，本節(jié)在這里主要說的是URLError還有HTTPError，以及對它們的一些處理。

1.URLError

首先解釋下URLError可能產(chǎn)生的原因：

    ·網(wǎng)絡無連接，即本機無法上網(wǎng)

    ·連接不到特定的服務器

    ·服務器不存在

在代碼中，我們需要用try-except語句來包圍并捕獲相應的異常。下面是一個例子，先感受下它的風騷

import urllib2
requset = urllib2.Request('http://www.xxxxx.com')
try:
    urllib2.urlopen(request)
except urllib2.URLError, e:
    print e.reason

我們利用了 urlopen方法訪問了一個不存在的網(wǎng)址，運行結果如下：

[Errno 11004] getaddrinfo failed

它說明了錯誤代號是11004，錯誤原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子類，在你利用urlopen方法發(fā)出一個請求時，服務器上都會對應一個應答對象response，其中它包含一個數(shù)字”狀態(tài)碼”。舉個例子，假如response是一個”重定向”，需定位到別的地址獲取文檔，urllib2將對此進行處理。

其他不能處理的，urlopen會產(chǎn)生一個HTTPError，對應相應的狀態(tài)嗎，HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應的狀態(tài)。下面將狀態(tài)碼歸結如下：

100：繼續(xù)  客戶端應當繼續(xù)發(fā)送請求。客戶端應當繼續(xù)發(fā)送請求的剩余部分，或者如果請求已經(jīng)完成，忽略這個響應。

101： 轉換協(xié)議  在發(fā)送完這個響應最后的空行后，服務器將會切換到在Upgrade 消息頭中定義的那些協(xié)議。只有在切換新的協(xié)議更有好處的時候才應該采取類似措施。

102：繼續(xù)處理   由WebDAV（RFC 2518）擴展的狀態(tài)碼，代表處理將被繼續(xù)執(zhí)行。

200：請求成功      處理方式：獲得響應的內(nèi)容，進行處理。

201：請求完成，結果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應的實體中得到    處理方式：爬蟲中不會遇到。

202：請求被接受，但處理尚未完成    處理方式：阻塞等待。

204：服務器端已經(jīng)實現(xiàn)了請求，但是沒有返回新的信 息。如果客戶是用戶代理，則無須為此更新自身的文檔視圖。處理方式：丟棄。

300：該狀態(tài)碼不被HTTP/1.0的應用程序直接使用，只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。處理方式：若程序中能夠處理，則進行進一步處理，如果程序中不能處理，則丟棄。

301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源。處理方式：重定向到分配的URL。

302：請求到的資源在一個不同的URL處臨時保存     處理方式：重定向到臨時的URL

304：請求的資源未更新     處理方式：丟棄

400：非法請求     處理方式：丟棄

401：未授權     處理方式：丟棄

403：禁止     處理方式：丟棄

404：沒有找到     處理方式：丟棄

500：服務器內(nèi)部錯誤  服務器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。一般來說，這個問題都會在服務器端的源代碼出現(xiàn)錯誤時出現(xiàn)。

501：服務器無法識別  服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法，并且無法支持其對任何資源的請求。

502：錯誤網(wǎng)關  作為網(wǎng)關或者代理工作的服務器嘗試執(zhí)行請求時，從上游服務器接收到無效的響應。

503：服務出錯   由于臨時的服務器維護或者過載，服務器當前無法處理請求。這個狀況是臨時的，并且將在一段時間以后恢復。

HTTPError實例產(chǎn)生后會有一個code屬性，這就是是服務器發(fā)送的相關錯誤號。

因為urllib2可以為你處理重定向，也就是3開頭的代號可以被處理，并且100-299范圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外我們又打印了reason屬性，這是它的父類URLError的屬性。

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.code
    print e.reason

運行結果如下：

403
Forbidden

錯誤代號是403，錯誤原因是Forbidden，說明服務器禁止訪問。

我們知道，HTTPError的父類是URLError，根據(jù)編程經(jīng)驗，父類的異常應當寫到子類異常的后面，如果子類捕獲不到，那么可以捕獲父類的異常，所以上述的代碼可以這么改寫。

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.code
except urllib2.URLError, e:
    print e.reason
else:
    print "OK"

如果捕獲到了HTTPError，則輸出code，不會再處理URLError異常。如果發(fā)生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進行判斷，代碼改寫如下：

import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.URLError, e:
    if hasattr(e,"reason"):
        print e.reason
else:
    print "OK"

首先對異常的屬性進行判斷，以免出現(xiàn)屬性輸出報錯的現(xiàn)象。

感謝各位的閱讀！關于Python2爬蟲中URLError與HTTPError是什么意思就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)站題目：Python2爬蟲中URLError與HTTPError是什么意思-創(chuàng)新互聯(lián)
鏈接分享：http://chinadenli.net/article18/dgphgp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、標簽優(yōu)化、企業(yè)建站、品牌網(wǎng)站設計、網(wǎng)站策劃、面包屑導航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)