動(dòng)態(tài)頁面的模擬點(diǎn)擊：

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),土默特右旗企業(yè)網(wǎng)站建設(shè),土默特右旗品牌網(wǎng)站建設(shè),網(wǎng)站定制,土默特右旗網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,土默特右旗網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

以斗魚直播為例：http://www.douyu.com/directory/all

爬取每頁的房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù)，然后模擬點(diǎn)擊下一頁，繼續(xù)爬取

代碼如下

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
"""
動(dòng)態(tài)頁面的模擬點(diǎn)擊：
  模擬點(diǎn)擊斗魚直播：http://www.douyu.com/directory/all
  爬取每頁房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù)，然后模擬點(diǎn)擊下一頁，繼續(xù)爬取
"""
 
from selenium import webdriver
import json
 
# 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對(duì)象，executable_path：指定PhantomJS位置
driver = webdriver.PhantomJS(executable_path = r"D:\Program Files\phantomjs\bin\phantomjs")
from bs4 import BeautifulSoup
 
class DouyuSpider(object):
  """
  爬蟲類
  """
  def __init__(self):
    self.url = "http://www.douyu.com/directory/all/"
    self.driver = webdriver.PhantomJS()
    self.file_name = open("douyu.json", "w", encoding = "utf-8")
 
  def run(self):
    """
    爬蟲開始工作
    """
    self.driver.get(self.url)
    # 循環(huán)處理每一頁，直至最后一頁
    page = 1
    start_flag = True
    while True:
      # 等待3秒，防止訪問過于頻繁
      self.driver.implicitly_wait(3)
      print("正在處理第" + page + "頁......")
      page += 1
      # 解析
      soup = BeautifulSoup(self.driver.page_source, "lxml")
      # 在線直播部分
      online_live = soup.find_all('ul', {'id': 'live-list-contentbox'})[0]
      # 房間列表
      live_list = online_live.find_all('li')
      # 處理每一個(gè)房間
      for live in live_list:
        # 房間名、直播類型、主播名稱、在線人數(shù)
        # 房間名
        home_name = live.find_all('h4', {'class': 'ellipsis'})[0].get_text().strip()
        # 直播類型
        live_type = live.find_all('span', {'class': 'tag ellipsis'})[0].get_text().strip()
        # 主播名稱
        anchor_name = live.find_all('span', {'class': 'dy-name ellipsis fl'})[0].get_text().strip()
        # 在線人數(shù)
        online_num = live.find_all('span', {'class' :'dy-num fr'})[0].get_text().strip()
        # print(home_name, live_type, anchor_name, online_num)
        item = {}
        item["房間名"] = home_name
        item["直播類型"] = live_type
        item["主播名稱"] = anchor_name
        item["在線人數(shù)"] = online_num
        if start_flag:
          start_flag = False
          content = "[\n" + json.dumps(item)
        else:
          content = ",\n" + json.dumps(item)
        self.file_name.write(content)
      # page_source.find()未找到內(nèi)容則返回-1
      if self.driver.page_source.find('shark-pager-disable-next') != -1:
        # 已到最后一頁
        break
      # 模擬點(diǎn)擊下一頁
      self.driver.find_element_by_class_name('shark-pager-next').click()
 
    # 爬蟲結(jié)束前關(guān)閉文件
    self.file_name.write("\n]")
    self.file_name.close()
if __name__ == '__main__':
  douyu = DouyuSpider()
  douyu.run()

網(wǎng)頁名稱：Python爬蟲實(shí)現(xiàn)模擬點(diǎn)擊動(dòng)態(tài)頁面-創(chuàng)新互聯(lián)
標(biāo)題URL：http://chinadenli.net/article18/cepidp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、企業(yè)建站、網(wǎng)站導(dǎo)航、云服務(wù)器、服務(wù)器托管、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)