這篇文章給大家分享的是有關(guān)python爬蟲怎么用scrapy獲取影片的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供天等網(wǎng)站建設、天等做網(wǎng)站、天等網(wǎng)站設計、天等網(wǎng)站制作等企業(yè)網(wǎng)站建設、網(wǎng)頁設計與制作、天等企業(yè)網(wǎng)站模板建站服務，10年天等做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡服務。

1. 創(chuàng)建項目

運行命令:

scrapy startproject myfrist（your_project_name）

文件說明： 名稱 | 作用 --|-- scrapy.cfg | 項目的配置信息，主要為Scrapy命令行工具提供一個基礎(chǔ)的配置信息。（真正爬蟲相關(guān)的配置信息在settings.py文件中） items.py | 設置數(shù)據(jù)存儲模板，用于結(jié)構(gòu)化數(shù)據(jù)，如：Django的Model pipelines | 數(shù)據(jù)處理行為，如：一般結(jié)構(gòu)化的數(shù)據(jù)持久化 settings.py | 配置文件，如：遞歸的層數(shù)、并發(fā)數(shù)，延遲下載等 spiders | 爬蟲目錄，如：創(chuàng)建文件，編寫爬蟲規(guī)則

注意：一般創(chuàng)建爬蟲文件時，以網(wǎng)站域名命名

2 編寫 spdier

在spiders目錄中新建 daidu_spider.py 文件

2.1 注意

爬蟲文件需要定義一個類，并繼承scrapy.spiders.Spider

必須定義name，即爬蟲名，如果沒有name，會報錯。因為源碼中是這樣定義的

2.2 編寫內(nèi)容

在這里可以告訴 scrapy 。要如何查找確切數(shù)據(jù)，這里必須要定義一些屬性

name: 它定義了蜘蛛的唯一名稱

allowed_domains: 它包含了蜘蛛抓取的基本URL；

start-urls: 蜘蛛開始爬行的URL列表；

parse(): 這是提取并解析刮下數(shù)據(jù)的方法；

下面的代碼演示了蜘蛛代碼的樣子：

import scrapy
 
 
class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allwed_url = 'douban.com'
    start_urls = [
        'https://movie.douban.com/top250/'
    ]
 
    def parse(self, response):
        movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
        movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
        yield {
            'movie_name':movie_name,
            'movie_core':movie_core
        }

感謝各位的閱讀！關(guān)于python爬蟲怎么用scrapy獲取影片就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

名稱欄目：python爬蟲怎么用scrapy獲取影片
網(wǎng)站路徑：http://chinadenli.net/article48/gogdep.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站設計公司、用戶體驗、全網(wǎng)營銷推廣、網(wǎng)站營銷、網(wǎng)頁設計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)