python如何讀取網(wǎng)頁中的數(shù)據(jù)

用Beautiful Soup這類解析模塊：

創(chuàng)新新互聯(lián)，憑借十載的成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)經(jīng)驗(yàn)，本著真心·誠心服務(wù)的企業(yè)理念服務(wù)于成都中小企業(yè)設(shè)計網(wǎng)站有千余家案例。做網(wǎng)站建設(shè)，選成都創(chuàng)新互聯(lián)公司。

Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹(parse tree)；

它提供簡單又常用的導(dǎo)航(navigating)，搜索以及修改剖析樹的操作；

用urllib或者urllib2(推薦)將頁面的html代碼下載后，用beautifulsoup解析該html；

然后用beautifulsoup的查找模塊或者正則匹配將你想獲得的內(nèi)容找出來，就可以進(jìn)行相關(guān)處理了，例如：

from?BeautifulSoup?import?BeautifulSoup

html?=?'htmlheadtitletest/title/headbodyptest?body/p/body/html'

soup?=?BeautifulSoup(html)

soup.contents[0].name

#?u'html'

soup.comtents[0].contents[0].name

#?u'head'

head?=?soup.comtents[0].contents[0]

head.parent.name

#?u'html'

head.next

#?u'titletest/title

python3--內(nèi)置函數(shù)

python的常用內(nèi)置函數(shù)

1.abs() 函數(shù)返回數(shù)字的絕對值

abs(-40)=40

2. dict() 函數(shù)用于創(chuàng)建一個字典

dict()

{} ? ? ?#創(chuàng)建一個空字典類似于u={},字典的存取方式一般為key-value

例如u = {"username":"tom", ?"age":18}

3. help() 函數(shù)用于查看函數(shù)或模塊用途的詳細(xì)說明

help('math')查看math模塊的用處

a=[1,2,3,4]

help(a)查看列表list幫助信息

4.dir()獲得當(dāng)前模塊的屬性列表

dir(help)

['__call__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__']

5.min() 方法返回給定參數(shù)的最小值 /參數(shù)可以為序列

a=? min(10,20,30,40)

a

10

6. next() 返回迭代器的下一個項(xiàng)目

it = iter([1, 2, 3, 4, 5])

next(it)

1

next(it)

2

7. id() 函數(shù)用于獲取對象的內(nèi)存地址

a=12

id(a)

1550569552

8.enumerate() 函數(shù)用于將一個可遍歷的數(shù)據(jù)對象(如列表、元組或字符串)組合為一個索引序列，同時列出數(shù)據(jù)和數(shù)據(jù)下標(biāo)，一般用在 for 循環(huán)當(dāng)中。

a=["tom","marry","leblan"]

list(enumerate(a))

[(0, 'tom'), (1, 'marry'), (2, 'leblan')]

9. oct() 函數(shù)將一個整數(shù)轉(zhuǎn)換成8進(jìn)制字符串

oct(15)

'0o17'

oct(10)

'0o12'

10. bin() 返回一個整數(shù) int 或者長整數(shù) long int 的二進(jìn)制表示

bin(10)

'0b1010'

bin(15)

'0b1111'

11.eval() 函數(shù)用來執(zhí)行一個字符串表達(dá)式，并返回表達(dá)式的值

eval('2+2')

4

12.int() 函數(shù)用于將一個字符串會數(shù)字轉(zhuǎn)換為整型

int(3)

3

int(3.6)

3

int(3.9)

3

int(4.0)

4

13.open() 函數(shù)用于打開一個文件，創(chuàng)建一個file對象，相關(guān)的方法才可以調(diào)用它進(jìn)行讀寫

f=open('test.txt')

14.str() 函數(shù)將對象轉(zhuǎn)化為適于人閱讀的形式

str(3)

'3'

15. bool() 函數(shù)用于將給定參數(shù)轉(zhuǎn)換為布爾類型，如果沒有參數(shù)，返回 False

bool()

False

bool(1)

True

bool(10)

True

bool(10.0)

True

16.isinstance() 函數(shù)來判斷一個對象是否是一個已知的類型

a=5

isinstance(a,int)

True

isinstance(a,str)

False

17. sum() 方法對系列進(jìn)行求和計算

sum([1,2,3],5)

11

sum([1,2,3])

6

18. super() 函數(shù)用于調(diào)用下一個父類(超類)并返回該父類實(shí)例的方法。super 是用來解決多重繼承問題的，直接用類名調(diào)用父類方法

class ? User(object):

? def__init__(self):

class Persons(User):

? ? ? ? super(Persons,self).__init__()

19. float() 函數(shù)用于將整數(shù)和字符串轉(zhuǎn)換成浮點(diǎn)數(shù)

float(1)

1.0

float(10)

10.0

20. iter() 函數(shù)用來生成迭代器

a=[1,2,3,4,5,6]

iter(a)

for i in iter(a):

... ? ? ? ? print(i)

...

1

2

3

4

5

6

21.tuple 函數(shù)將列表轉(zhuǎn)換為元組

a=[1,2,3,4,5,6]

tuple(a)

(1, 2, 3, 4, 5, 6)

22.len() 方法返回對象（字符、列表、元組等）長度或項(xiàng)目個數(shù)

s = "playbasketball"

len(s)

14

a=[1,2,3,4,5,6]

len(a)

6

23. property() 函數(shù)的作用是在新式類中返回屬性值

class User(object):

?def __init__(self,name):

? ? ? ? ? self.name = name

def get_name(self):

? ? ? ? ? return self.get_name

@property

?def name(self):

? ? ? ? ?return self_name

24.type() 函數(shù)返回對象的類型

25.list() 方法用于將元組轉(zhuǎn)換為列表

b=(1,2,3,4,5,6)

list(b)

[1, 2, 3, 4, 5, 6]

26.range() 函數(shù)可創(chuàng)建一個整數(shù)列表，一般用在 for 循環(huán)中

range(10)

range(0, 10)

range(10,20)

range(10, 20)

27. getattr() 函數(shù)用于返回一個對象屬性值

class w(object):

... ? ? ? ? ? ? s=5

...

a = w()

getattr(a,'s')

5

28. complex() 函數(shù)用于創(chuàng)建一個復(fù)數(shù)或者轉(zhuǎn)化一個字符串或數(shù)為復(fù)數(shù)。如果第一個參數(shù)為字符串，則不需要指定第二個參數(shù)

complex(1,2)

(1+2j)

complex(1)

(1+0j)

complex("1")

(1+0j)

29.max() 方法返回給定參數(shù)的最大值，參數(shù)可以為序列

b=(1,2,3,4,5,6)

max(b)

6

30. round() 方法返回浮點(diǎn)數(shù)x的四舍五入值

round(10.56)

11

round(10.45)

10

round(10.45,1)

10.4

round(10.56,1)

10.6

round(10.565,2)

10.56

31. delattr 函數(shù)用于刪除屬性

class Num(object):

...? ? a=1

...? ? b=2

...? ? c=3.

.. print1 = Num()

print('a=',print1.a)

a= 1

print('b=',print1.b)

b= 2

print('c=',print1.c)

c= 3

delattr(Num,'b')

print('b=',print1.b)

Traceback (most recent call last):? File "", line 1, inAttributeError: 'Num' object has no attribute 'b'

32. hash() 用于獲取取一個對象（字符串或者數(shù)值等）的哈希值

hash(2)

2

hash("tom")

-1675102375494872622

33. set() 函數(shù)創(chuàng)建一個無序不重復(fù)元素集，可進(jìn)行關(guān)系測試，刪除重復(fù)數(shù)據(jù)，還可以計算交集、差集、并集等。

a= set("tom")

b = set("marrt")

a,b

({'t', 'm', 'o'}, {'m', 't', 'a', 'r'})

ab#交集

{'t', 'm'}

a|b#并集

{'t', 'm', 'r', 'o', 'a'}

a-b#差集

{'o'}

[求助] python 如何爬取 網(wǎng)頁上調(diào)用JS函數(shù)打開的視頻鏈接

selenium + phantomjs 模擬點(diǎn)擊按鈕，或者另寫代碼實(shí)現(xiàn)js函數(shù)openVideo()；

順著第一步再去解析新頁面，看看能否找到視頻的原始地址；

假設(shè)視頻的原始地址第二步找到了，在通過視頻的原始地址下載視頻就OK啦。

網(wǎng)站標(biāo)題：python打開網(wǎng)頁函數(shù),怎么用python打開網(wǎng)頁
文章轉(zhuǎn)載：http://chinadenli.net/article28/dsehecp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)頁設(shè)計公司、網(wǎng)站建設(shè)、小程序開發(fā)、搜索引擎優(yōu)化、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)