• 一個比較簡單，python3多線程使用requests庫爬取都挺好，并使用正則提取下載鏈接，保存到MongoDB

#!/usr/bin/env python
# -*- coding:utf-8 -*-
"""
@author:Aiker Zhao
@file:doutinghao.py
@time:下午8:18
"""
import requests
import re
import pymongo
from multiprocessing import Pool

MONGO_URL = 'localhost:27017'
MONGO_DB = 'doutinghao'
MONGO_TABLE = 'doutinghao'
client = pymongo.MongoClient(MONGO_URL, connect=False)
db = client[MONGO_DB]

def get_result(url):
    response = requests.get(url).text
    # print(reponse.text)
    pattern = re.compile('<a href="(ed2k.*?)"\srel.*?title="(.*?.mp4).*?".*?>', re.S)
    result = re.findall(pattern, response)
    if result:
        for i in result:
            url, name = i
            yield {
                "name": name,
                'url': url
            }

def save_to_mongo(result):
    if db[MONGO_TABLE].insert(result):
        print('存儲到MongoDB成功', result)
        return True
    return False

def main(result):
    # result = get_result(url)
    save_to_mongo(result)

if __name__ == '__main__':
    pool = Pool()
    url = "https://www.xl720.com/thunder/34283.html"
    item = [item for item in get_result(url)]
    # print(item)
    pool.map(main, item)
    pool.close()
    pool.join()

目前創(chuàng)新互聯(lián)建站已為上1000家的企業(yè)提供了網站建設、域名、網站空間、網站托管運營、企業(yè)網站設計、泰安網站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

文章名稱：多線程爬取都挺好鏈接并保存到mongodb
路徑分享：http://chinadenli.net/article2/gogooc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網站制作、網站改版、網頁設計公司、網站建設、微信公眾號、ChatGPT

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)