1、爬蟲的工作原理

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：域名與空間、網頁空間、營銷軟件、網站建設、綏德網站維護、網站推廣。

獲取數據--解析數據--提取數據--存儲數據

2、獲取數據

本質就是通過URL去向服務器發(fā)出請求，服務器再把相關內容封裝成一個Response對象返回給我們，這是通過requests.get()實現的。而我們獲取到的Response對象下有四個常用的方法（status_code、content、text、encoding）。

3、requests.get()

import requests? #引入requests模塊

res = requests.get('url')? ?# 向服務器請求數據，服務器返回的結果是個Response對象

print(type(res)) # 終端顯示：

這代表著res是一個對象，屬于requests.models.Response類。

3、response.status_code?

用法：print(變量.status_code)，

用來檢查請求是否正確響應，如果響應狀態(tài)碼為200，即代表請求成功。

響應狀態(tài)碼表示服務器對請求的響應結果。例如，200代表服務器響應成功，403代表禁止訪問，404代表頁面未找到，408代表請求超時。瀏覽器會根據狀態(tài)碼做出相應的處理。在爬蟲中，可以根據狀態(tài)碼來判斷服務器的狀態(tài)，如果狀態(tài)碼為200，則繼續(xù)處理數據，否則直接忽略。

4、response.content?

response.content能把Response對象的內容以二進制數據的形式返回，適用于圖片、音頻、視頻的下載，示例：

import requests

#圖片地址
URL=''https://img1.baidu.com/it/u=2076064484,1314795796&fm=253&fmt=auto&app=120&f=JPEG?w=531&h=309''
# 發(fā)出請求，并把返回的結果放在變量res中
res = requests.get(url)
# 把Reponse對象的內容以二進制數據的形式返回
pic = res.content

# 下載一個圖片文件并命名為picture.jpg， 圖片內容需要以二進制wb只寫。
with open(r'C:\Users\Avery\Desktop\test\picture.jpg', 'wb') as f:
????????# 獲取pic的二進制內容,寫入f
????????f.write(pic)

這樣我們圖片就下載成功了！

5、response.text?

response.text這個方法可以把Response對象的內容以字符串的形式返回，適用于文字、網頁源代碼的下載。示例如下：

import requests

# 文章地址
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md'
# 發(fā)出請求，并把返回的結果放在變量res中
res = requests.get(url)
# 把Response對象的內容以字符串的形式返回
novel = res.text
#打印變量
print(novel[0:170])

6、response.encoding?

response.encoding方法，它能幫我們定義Response對象的編碼，示例如下：

import requests

# 文章地址
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md'
# 發(fā)出請求，并把返回的結果放在變量res中
res = requests.get(url)
# 定義response對應的編碼為utf-8
res.encoding = 'utf-8'
# 把Response對象的內容以字符串的形式返回
novel = res.text
# 打印變量
print(novel[0:170])

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

文章標題：1.獲取數據-requests.get()-創(chuàng)新互聯(lián)
分享URL：http://chinadenli.net/article2/ddeooc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、定制網站、企業(yè)建站、用戶體驗、微信公眾號、網站設計公司

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)