整個(gè)數(shù)據(jù)獲取的信息是通過房源平臺(tái)獲取的，通過下載網(wǎng)頁元素并進(jìn)行數(shù)據(jù)提取分析完成整個(gè)過程。

成都創(chuàng)新互聯(lián)是一家專業(yè)從事網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)頁設(shè)計(jì)的品牌網(wǎng)絡(luò)公司。如今是成都地區(qū)具影響力的網(wǎng)站設(shè)計(jì)公司,作為專業(yè)的成都網(wǎng)站建設(shè)公司,成都創(chuàng)新互聯(lián)依托強(qiáng)大的技術(shù)實(shí)力、以及多年的網(wǎng)站運(yùn)營經(jīng)驗(yàn),為您提供專業(yè)的成都網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)及網(wǎng)站設(shè)計(jì)開發(fā)服務(wù)！

【閱讀全文】

導(dǎo)入相關(guān)的網(wǎng)頁下載、數(shù)據(jù)解析、數(shù)據(jù)處理庫

from fake_useragent import UserAgent  # 身份信息生成庫

from bs4 import BeautifulSoup  # 網(wǎng)頁元素解析庫
import numpy as np  # 科學(xué)計(jì)算庫
import requests  # 網(wǎng)頁下載庫
from requests.exceptions import RequestException  # 網(wǎng)絡(luò)請求異常庫
import pandas as pd  # 數(shù)據(jù)處理庫

然后，在開始之前初始化一個(gè)身份信息生成的對象，用于后面隨機(jī)生成網(wǎng)頁下載時(shí)的身份信息。

user_agent = UserAgent()

編寫一個(gè)網(wǎng)頁下載函數(shù)get_html_txt，從相應(yīng)的url地址下載網(wǎng)頁的html文本。

def get_html_txt(url, page_index):
    '''
    獲取網(wǎng)頁html文本信息
    :param url: 爬取地址
    :param page_index:當(dāng)前頁數(shù)
    :return:
    '''
    try:
        headers = {
            'user-agent': user_agent.random
        }
        response = requests.request("GET", url, headers=headers, timeout=10)
        html_txt = response.text
        return html_txt
    except RequestException as e:
        print('獲取第{0}頁網(wǎng)頁元素失敗！'.format(page_index))
        return ''

編寫網(wǎng)頁元素處理函數(shù)catch_html_data，用于解析網(wǎng)頁元素，并將解析后的數(shù)據(jù)元素保存到csv文件中。

def catch_html_data(url, page_index):
    '''
    處理網(wǎng)頁元素?cái)?shù)據(jù)
    :param url: 爬蟲地址
    :param page_index:
    :return:
    '''

    # 下載網(wǎng)頁元素
    html_txt = str(get_html_txt(url, page_index))

    if html_txt.strip() != '':

        # 初始化網(wǎng)頁元素對象
        beautifulSoup = BeautifulSoup(html_txt, 'lxml')

        # 解析房源列表
        h_list = beautifulSoup.select('.resblock-list-wrapper li')

        # 遍歷當(dāng)前房源的詳細(xì)信息
        for n in range(len(h_list)):
            h_detail = h_list[n]

            # 提取房源名稱
            h_detail_name = h_detail.select('.resblock-name a.name')
            h_detail_name = [m.get_text() for m in h_detail_name]
            h_detail_name = ' '.join(map(str, h_detail_name))

            # 提取房源類型
            h_detail_type = h_detail.select('.resblock-name span.resblock-type')
            h_detail_type = [m.get_text() for m in h_detail_type]
            h_detail_type = ' '.join(map(str, h_detail_type))

            # 提取房源銷售狀態(tài)
            h_detail_status = h_detail.select('.resblock-name span.sale-status')
            h_detail_status = [m.get_text() for m in h_detail_status]
            h_detail_status = ' '.join(map(str, h_detail_status))

            # 提取房源單價(jià)信息
            h_detail_price = h_detail.select('.resblock-price .main-price .number')
            h_detail_price = [m.get_text() for m in h_detail_price]
            h_detail_price = ' '.join(map(str, h_detail_price))

            # 提取房源總價(jià)信息
            h_detail_total_price = h_detail.select('.resblock-price .second')
            h_detail_total_price = [m.get_text() for m in h_detail_total_price]
            h_detail_total_price = ' '.join(map(str, h_detail_total_price))

            h_info = [h_detail_name, h_detail_type, h_detail_status, h_detail_price, h_detail_total_price]
            h_info = np.array(h_info)
            h_info = h_info.reshape(-1, 5)
            h_info = pd.DataFrame(h_info, columns=['房源名稱', '房源類型', '房源狀態(tài)', '房源均價(jià)', '房源總價(jià)'])
            h_info.to_csv('北京房源信息.csv', mode='a+', index=False, header=False)

        print('第{0}頁房源信息數(shù)據(jù)存儲(chǔ)成功！'.format(page_index))
    else:
        print('網(wǎng)頁元素解析失?。?)

編寫多線程處理函數(shù)，初始化網(wǎng)絡(luò)網(wǎng)頁下載地址，并使用多線程啟動(dòng)調(diào)用業(yè)務(wù)處理函數(shù)catch_html_data，啟動(dòng)線程完成整個(gè)業(yè)務(wù)流程。

import threading  # 導(dǎo)入線程處理模塊


def thread_catch():
    '''
    線程處理函數(shù)
    :return:
    '''
    for num in range(1, 50, 3):
        url_pre = "https://bj.fang.lianjia.com/loupan/pg{0}/".format(str(num))
        url_cur = "https://bj.fang.lianjia.com/loupan/pg{0}/".format(str(num + 1))
        url_aft = "https://bj.fang.lianjia.com/loupan/pg{0}/".format(str(num + 2))

        thread_pre = threading.Thread(target=catch_html_data, args=(url_pre, num))
        thread_cur = threading.Thread(target=catch_html_data, args=(url_cur, num + 1))
        thread_aft = threading.Thread(target=catch_html_data, args=(url_aft, num + 2))
        thread_pre.start()
        thread_cur.start()
        thread_aft.start()


thread_catch()

數(shù)據(jù)存儲(chǔ)結(jié)果展示效果

【往期精彩】

辦公自動(dòng)化：Image圖片轉(zhuǎn)換成PDF文檔存儲(chǔ)...

python做一個(gè)微型美顏圖片處理器，十行代碼即可完成...

用python做一個(gè)文本翻譯器，自動(dòng)將中文翻譯成英文，超方便的！

小王，給這2000個(gè)客戶發(fā)一下節(jié)日祝福的郵件...

python 一行命令開啟網(wǎng)絡(luò)間的文件共享...

PyQt5 批量刪除 Excel 重復(fù)數(shù)據(jù)，多個(gè)文件、自定義重復(fù)項(xiàng)一鍵刪除...

再見XShell，這款國人開源的終端命令行工具更nice！

python 表情包下載器，輕松下載上萬個(gè)表情包、斗圖不用愁...

Python 自動(dòng)清理電腦垃圾文件，一鍵啟動(dòng)即可...

有了jmespath，處理python中的json數(shù)據(jù)就變成了一種享受...

解鎖一個(gè)新技能，如何在Python代碼中使用表情包...

萬能的list列表，python中的堆棧、隊(duì)列實(shí)現(xiàn)全靠它！

文章標(biāo)題：python 獲取最新房價(jià)信息-以北京房價(jià)為例
標(biāo)題網(wǎng)址：http://chinadenli.net/article0/dsoghoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、微信公眾號(hào)、網(wǎng)站排名、小程序開發(fā)、ChatGPT、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)